收集可用性度量最为显著的特点之一,就是你不必拘泥于某一种特定类型的评估方法(比如,实验室测试、在线测试)。可用性度量可以通过使用几乎任何一种评价方法来获得。这也许很让人惊讶,因为通常有一种误解是可用性度量只能通过大规模的在线研究获得。如你所见,其实不是这样的。
选择一种测试方法来获取可用性度量,最终取决于需要多少个参加者和采用什么样的度量。最常用的可用性方法是实验室测试,这需要相对较小的样本量。实验室测试是一种一对一的形式,即一个测试人员与一个参加者。测试人员对参加者提问,让参加者在问题产品上完成一系列既定任务。参加者通常在完成这些任务过程中进行出声思维。测试人员记录参加者的行为和对问题的反馈。实验室测试在形成式研究中使用最适合,因为形成式研究的目标是进行迭代式的设计改进。所要收集的最重要度量是关于可用性问题的,包括问题发生频次、类型和严重性。而且,采集诸如任务成功、错误和效率等绩效数据页会有帮助。
通过让参加者针对每个任务或在整个测试结束后回答问题的形式,自我报告式的度量也可以予以收集。然而,我们建议你处理绩效数据和自我报告式数据时要十分小心,因为很容易在没有足够样本量的情况下将结果泛化到更大的用户群体上。事实上,我们通常只报告成功任务频次或错误频次。我们甚至不会将这些数据以百分比的形式呈现出来,以防有的人过于泛化这些数据结果。
可用性测试并非总是进行小样本的测试。在某些情况下,你也许需要花费更多的时间和经费进行更多参加者的测试。在进行较多参加者测试的主要好处是,随着样本量的增加,你对所得数据结果的把握也随之增加。这也将会使你有能力去收集更大范围的数据。事实上,所有绩效,自我报告式和生理的度量都是适用的。但是有几种可用性度量使用起来需要注意。例如,通过实验室可用性测试数据推测网站流量模式很可能是非常不可靠的,考虑微小设计改动如何影响用户体验也是如此。在这些情况下,最好是进行有几百甚至几千名参加者参加的在线测试。
在线研究通常有许多参加者同时进行测试。这是在相对短的时间内收集大量数据的非常好的办法。在线研究的准备通常与实验室研究很类似,比如都有背景问题、任务和测试后问题等。参加者进行完所有事先定义好的问题和任务之后,相关数据通过特殊工具自动收集起来。通过这种方式,你可以采集很大范围的数据,包括绩效度量和自我报告式度量。可能获取基于问题的数据有些困难,因为你无法直接观察参加者。但是通过绩效数据和自我报告数据可以发现问题,而用户的评价反馈则可以帮助推测这些问题的原因。
在线调查也适合针对微小设计改动获取实验数据。例如,你可以测量用户对某个特定视觉元素的情感反应。在线可用性研究的主要问题是,从每个参加者身上获得的数据不如在实验室研究中那么丰富,但是这点可以通过较大的样本量抵消。在线研究的另一个限制是只适用于网站或软件,诸如消费电子类的产品用在线测试会比较困难。
焦点小组是了解人们对任何特定产品或概念的感知和态度的一种很好的方法。大多数情况下,焦点小组不需要用户与产品有直接的交互。所有来自焦点小组的数据都是自我报告式度量的形式。有些可用性专家喜欢在小组讨论开始前或结束后进行简短的问卷调查。一些更有用的问题通常围绕着使用新功能的可能性或向朋友推荐该产品的可能性等问题。典型的焦点小组会邀请八到十个参加者。我们建议,无论何时只要有可能的话,进行至少三组焦点小组讨论。只经过一组八到十人的焦点小组讨论而获得的数据可能不是十分可靠,部分因为有可能会有少数强势的参加者会影响群体的意见。