分析时间数据时,有些问题需要考虑,如:是考察所有任务还是只考察成功完成的 任务,使用出声思维口语报告分析可能带来的影响是什么,以及是否要告知测试参加者测量任务的完成时间等。
首先,只针对成功的任务还是所有的任务。
或许第一个需要考虑的问题是:在分析中,你是否应该只包括成功的任务还是包括所有的任务?只包括成功任务的主要优点是可以更清晰地测量效率。比如,失败任务的时间数据通常很难估算。有的参加者会一直在尝试操作任务,直到你拔去插头、切断计算机的电源。任何由参加者放弃或主持人“拔去插头”而结束的任务都会导致时间数据中变异程度的增大。
分析所有任务(无论成功与否)时间数据的主要优点是更能准确地反映出整体的用户体验。比如,如果只有一小部分参加者能成功完成任务,但有些特别的用户群能非常高效率地完成任务,那么整体的任务时间将会很短。因此,当只分析成功任务时,就很容易对任务时间数据造成错误的解释。分析所有任务时间数据的另一个好处是:它是一个独立于任务成功的测量。如果你只分析成功任务的时间数据,那么在这两组数据之间引入了一个依存性条件。
如果参加者总是可以确定何时放弃某个未能完成的任务,你在分析过程中就可以包括所有的时间数据,这是一个好的规则。如果测试主持人有时能够决定何时结束一个未能成功的任务,那么可以只使用成功任务的时间数据。
其次,使用出声思维分析。
另外一个需要考虑的问题是:当收集时间数据时,是否合适使用出声思维分析的方法。很多可用性专家都很重视使用出声思维分析来获得一些用户的重要想法以体现在用户体验设计中。出声思维分析法几乎肯定会对任务时间数据产生影响。当参加者正在就网页快速加载的重要性进行叙说或评论时,你继续测量任务时间,这是最要避免的事情。此时如果你需要捕获任务时间,一个好的解决方案是要求参加者在任务之间的时间间隔内“止住”大部分的评论。接着当“计时器”停止后,你可以就刚完成的任务与参加者进行对话。这种做法有时被称为回顾性探查技术。
最后,应该告知参加者有关需要进行时间测量的方面吗。
还有一个需要重点考虑的问题是:是否告知参加者你正在记录他们的操作时间。如果你不告知这方面的信息,参加者就不会以一种高效率的方式进行操作。对参加者来说,当他们在操作任务过程中,往往会探访网站的不同区域,这是很常见的。但是一个不好的方面是:如果你告诉参加者他们的操作正被记时,他们可能会变得很紧张,同时也会觉得他们自身而不是产品被当作了测试的对象。好的折中办法是要求参加者尽可能又快又准地操作任务,而不是以主动告诉他们正被精确地记时。如果参加者偶尔闻到,你可以只是轻描淡写地予以解释,说你只关注每个任务开始和结束的时间。