需要考虑的另一个重要问题是：你将要进行的分析是比较每个参加者的不同数据（例如同一个参加者在产品不同设计上的成功率），还是比较参加者之间的数据（例如不同年龄组的成功率）。第一种方法通常称为组内设计，第二种方法被叫做组间设计。两种方法都有各自的优势和局限。

    组内设计，也叫做重复测量设计，常用于评估参加者学习使用特定产品时的难易程度。通过比较同一批参加者多次施测上的度量（如人物完成时间或错误率），你可以判断参加者多快和多久能熟练使用被评估的产品。组内设计不需要一个较大的样本，也不必担心组别之间的差异。因为每个参加者都是与自己进行比较，所以从数据中观测到的差异不是由参加者之间的差异所导致的。组内设计的缺点是需要考虑“传递效应”，即在一种条件下的操作会影响到另一种条件下的操作。传递效应的原因可能是练习（提高成绩）或者疲劳（降低成绩）。如果实验有可能产生传递效应，你可以在设计实验和分析数据时对该效应进行平衡。

    组间研究用于比较不同参加者之间的结果，例如新手和专家在满意度上的差异，年轻参加者和年长参加者在任务完成时间上的差异。在另一组设计中，参加者被随机分组，然后接受不同的实验处理，比如同一个产品的不同设计原型。因为一组参加者之间的变异通常会大于单个参加者内的变异，所以组间设计需要较大的样本量。组间设计的优势之一是能够消除传递效应，因为任何潜在的传递效应会同等地影响各个组别。

    如果组件设计和组内设计都不能满足你的需求，则可以考虑使用混合设计。混合设计同时包含组间因素（如性别）和组内因素（随时间分布的三次施测）。例如，你可以采用混合设计探讨男女在几次施测过程中完成某些任务的方式上是否存在差异。在可用性研究中，混合设计是一种非常有用的方法，而且因为它不需要针对所出现的每个问题进行单独研究，所以还能节省时间和资金。