1、PULSE 指标
PULSE是基于商业和技术的产品评估系统,被很多组织和公司广泛应用于跟踪产品的整体表现。
构成PULSE指标主要有:
- Page view/页面浏览量;
- Uptime/响应时间;
- Latency/延迟
- Seven days active user/7天活跃用户数
- Earning/收益
2、HEART指标
基于PULSE中存在的不足,结合用户体验质量以及让数据更有实际意义的需求,Google提出了一个作为补充的度量框架:HEART。
- Happiness/愉悦度–用户满意度;
- Engagement/参与度–使用频率;
- Adoption/接受度–新用户对产品或功能的接受程度或者意愿;
- Retention/留存率–在一定时间内再次使用产品或功能的用户;
- Task success/任务完成度–完成某一任务的时间和达成率;
愉悦感
愉悦感是设计用户体验中的主观感受问题,像满意度、视觉感受、向别人推荐的意愿、易用性感知。可以通过好好设计问卷长时间监控相同的指标来看设计修改后带来的变化。
例如,我们有个性化首页的服务(iGoogle)。团队利用产品内置的检测手段,跟踪了一周内一系列的指标来研究改版和新功能的影响。在一次大改版之后,起初用户满意度指标是大幅下降的(利用七点雷达图),但是随着时间推移,这个指标逐渐恢复,这表明大幅下降只是因为刚改版时的不适应。渐渐习惯这次改变之后,用户实际上是很喜欢的。有了这一信息,团队就可以更有信心的保持这次改版的设计。
参与度
参与度是用户在一个产品中的参与深度,在这个维度上,通常用来作为一段时期内访问的频度、强度或互动深度的综合。比如单用户每周的访问次数,或者用户每天上传的照片数,这比总量要好——因为总量的增长可能是由更多的用户的产生,而不是更多的使用产生的。
例如,Gmail团队更想研究用户的参与度而非PULSE指标体系中的七天活跃用户数(只是上周使用该产品用户的简单计数之和)。我们有理由去相信,深度用户会经常检查他们的邮箱,因为他们已经形成习惯。我们选择的指标是一周内访问五天或者更多的百分比,这一指标同样也可以用来预测用户长期的留存度。
接受度和留存率
接受度和留存率指标通过特定时期内大量用户的统计(比如,7天的活跃用户数)提供强大的洞察,来定位新用户和老用户的差异问题。接受度监控特定时期内有多少新用户开始使用产品(比如,最近7天内新创建的账号),而留存率则监控特定时期内有多少用户在下稍后一个时期内仍然存在(比如,某一周的7天活跃用户在3个月后仍然在7天活跃用户中)。
在此“使用”和“周期”的两个概念都应当因事制宜,有时候“使用”就意味着访问网站,有时候则是到达了某个特定的页面或者完成某种互动,例如创建账户。留存率和参与度相似,它可以被定义不同周期长度,有的产品也许只需要观察周数据,有的则需要月数据或者季度数据。
例如,在08年证券市场暴跌的那段时间,谷歌金融在浏览量和七日活动用户指标上都有一次井喷,但无法确定数据的剧增是来自关心金融危机的新用户或是恐慌性不停查看他们的投资信息的老用户。在不知道是谁增加了这些访问量之前,决定是否要改版网站以及如何进行修改十分困难的。我们利用接受度和留存率这两个指标来区分用户群体,同时还关注了新用户继续使用该服务的百分比。这类信息被我们团队利用于解读事件驱动的数据波动以及发现潜在的机会。
任务完成率
任务完成率维度包括一些传统的用户体验行为指标,比如效率(如完成任务的时间),效果(比如任务完成的百分比)以及错误率。
例如,谷歌地图曾经有过两种不同的搜索框,一种是用户可以分开输入“目的”和“地点”的双重搜索框,另一种是单个搜索框处理所有的类别。有人觉得单个搜索框就可以胜任一切,同时又保持了效率,在之后的A/B测试中,团队测试了仅提供单个搜索框的版本。他们比较了两个不同版本的错误率,发觉用户在单个搜索框版本中能够更加有效的达成他们的搜索目的。最终,这个结果让团队非常有把握的在所有地图上移除了双搜索框功能。
目标-信号-指标
不管定义的用户中心的指标是怎样的,如果不能精确的和目标相关,以及能够跟踪达到目标的过程,那么都是白搭。Google提供了一个简单的流程来完成指标的设定,通过阐明产品或者功能的目标,然后定义达成的信号,最终建立特定的指标的监控方式。
目标
第一步是定义产品或功能的目标是什么,特别是在用户体验方面。用户需要完成什么任务?重新设计是试图达到什么?使用HEART体系来提示相关的目标(比如,是吸引新用户更重要,还是鼓励现有用户更积极参与重要?)一些有用的提示:
- 不同的团队成员可能对于项目的目标有不同的意见。这个过程提供了一个很好的机会来收集不同的想法并且努力达成共识(并且认同选择的指标);
- 特定项目或功能的成功可能与产品的整体目标不同;
- 在这个阶段无需太担心是否和如何找到相关的信号或指标;
信号
接下来,想想用户的行为或态度如何体现成功或失败。什么行动会表示目标已经达到?什么感受或看法能够联系到成功或失败?在这个阶段你应该思考你的这些信号的数据源可能是什么?比如,基于日志的行为信号,这些相关的行为目前有记录或者能够被记录吗?可以收集态度的信号——能否定期投放问卷吗?日志和问卷时我们最常使用的两个信号源,但还有其它的可能性(比如,使用一个面板或判断让用户评分)。一些有用的提示:
- 选择敏感度高以及和目标特别相关的信号——只因用户体验的好坏而改变,而非其他不相干的因素;
- 有时失败比成功更容易定义(比如,放弃任务、撤销,挫折);
指标
最终,想想这些信号是否可以转换为特定的指标,是否可以被方便的持续跟踪。一些有用的提示:
- 原始统计数据会随同你的用户基数增长而增长,需要转化为常态;比例、百分率或者每个用户的平均值更有用一些;
- 在确保精度上有很多挑战,基于web日志的指标,如从自动生成的数据中过滤流量(如爬虫、垃圾信息),并且确保所有重要的用户行为都被日志记录(默认情况下可能不会,尤其是在基于AJAX或基于Flash的应用中);
- 如果需要拿你的项目或产品和其他的进行对比,你可能需要在这些产品的标准指标中增加监控指标;
总结
Google已经花费数年时间来解决广泛应用的用户体验的衡量指标体系。HEART体系和目标-信号-指标的过程,已经在Google超过20个产品和项目中进行了应用。不管是数据驱动的还是用户中心的产品中,HAERT框架和目标-信号-指标过程都能帮助产品团队来做出决定。