内部效度、统计结论效度、外部效度与构念效度对眼动实验结果影响概述
王均松,钱家骏,郭亚玲. 翻译过程研究中的眼动实验效度：问题与对策[J]. 外国语, 2022, 45(2): 93-101. Junsong WANG,Jiajun QIAN,Yaling GUO. The Validity of Eye-movement Experiments in Translation Process Research: Problems and Solutions[J]. Journal of Foreign Languages, 2022, 45(2): 93-101.
http://jfl.shisu.edu.cn/CN/abstract/abstract624.shtml摘要：实验效度反映了实验结果的准确性与有效性，是衡量实验成败优劣和科学化水平的核心指标。本文基于Cook & Campbell(1979)提出的实验效度分类框架，从内部效度、统计结论效度、外部效度、构念效度四个方面, 探讨了翻译过程研究中眼动实验效度的各种影响因素，并提出一系列应对措施与建议, 以期规范翻译眼动实验设计，提高眼动实验质量，为后续研究提供借鉴与参考。
关键词: 翻译过程研究, 眼动实验, 实验效度, 影响因素
1 引言
近年来，可重复性(replicability)不仅成为心理学研究的热议问题(胡传鹏等2016)，也引起了翻译学界的重视(Olalla-Soler 2020)。实验结果的可重复性在一定程度上受实验研究效度的影响(Porte & McManus 2019)。在实验心理学领域，效度是指实验方法能够达到实验目的的程度，它反映了“实验结论的真实性程度和有效性程度，是衡量实验成败优劣的核心指标”(李欣、石文典2009)。目前，已有学者开始将眼动追踪技术运用至翻译过程研究中，并对翻译眼动实验研究中存在的方法论问题进行探讨(Alves et al.2009; O’Brien 2009; 王一方2017)，但鲜有学者针对翻译眼动实验的效度(validity)问题进行批判性反思。鉴于此，本文在文献调研的基础上，结合我们在实验过程中的发现，围绕翻译眼动实验效度的影响因素开展研究，以期规范翻译眼动实验设计，提升研究质量。
2 实验效度
实验效度(validity of experiments)一词最早由美国著名心理学家Campbell于1957年提出，他将实验效度分为“内部效度”(internal validity)和“外部效度”(external validity)两个方面。“内部效度”指自变量与因变量之间关系的明确程度，或者说实验中自变量的效应能被准确估计的程度；而“外部效度”指当被试、场景、处理、结果测量发生变化时推断因果关系成立的有效性，即实验结果能够被概括推广到样本总体和其他同类现象中的程度。Cook & Campbell(1979)对这一分类进行了拓展，他们从内部效度中分离出“统计结论效度”(statistical conclusion validity)，从外部效度中分离出“构念效度”(construct validity)，进一步丰富和完善了这一分类体系。
自实验效度的问题提出以来，学者们围绕实验效度的影响因素开展了一系列研究和探索(Cook & Campbell 1979; Shadish et al.2002)。其中，Shadish et al.(2002)的研究最为系统和全面，他们继承和发展了Cook & Campbell(1979)的效度分类体系，并提供了一份详尽的效度威胁(threats to validity)清单。本文在借鉴前人研究的基础上，针对翻译眼动实验的特殊性，构建了翻译眼动实验效度的影响因素框架(见图 1)。需要指出的是，影响实验效度的因素纷繁复杂，限于篇幅，本文只列出了与翻译眼动实验密切相关的影响因素。下文将对这些因素进行逐一介绍和分析，并提出针对性的控制措施与建议。
图1 翻译眼动实验效度影响因素
3 翻译眼动实验效度的影响因素
3.1 内部效度影响因素
在实验研究中，除了研究者设置的自变量，众多无关变量也会对因变量产生影响。对这些无关变量的控制就成为决定实验内部效度的关键。总体而言，影响翻译眼动实验内部效度的无关变量主要来自以下三方面：
(1) 被试选择偏差
在翻译眼动实验中，被试的选择是影响实验内部效度的一个重要因素。除了语言水平和翻译能力，被试的一些固有的和习得的差异都可能会对研究结果产生一定的影响。一方面，由于眼动实验的特殊性，被试的某些生理特征对于实验结果会产生较大的影响。比如，被试睫毛膏(mascara)、眼睑下垂(droopy eyelids)都会影响眼动数据的收集和数据质量(Holmqvist et al.2011: 177)。另一方面，被试的盲打能力也是影响实验内部效度的潜在因素。理论上来讲，翻译过程研究选取的被试都应具有良好的盲打能力，但实际上被试之间的盲打能力很难达到完全一致(Hvelplund 2011: 72)。如果被试盲打能力较差，他们在翻译过程中就会时不时地将目光转向键盘，这不仅会降低翻译速度，而且会影响眼动数据采集，影响数据质量。此外，工作记忆容量也是影响实验结果的一个重要因素(Vieira 2014)。在筛选被试的过程中，如果不对这些因素进行控制，那么有可能会出现选择性偏差，导致被试的个体因素与自变量效应发生混淆，降低实验的内部效度。
(2) 文本熟悉度与翻译难度
在翻译眼动实验中，实验材料的选择是影响实验内部效度的一个潜在变量。在选取实验文本时，研究者应首先考虑被试对文本类型和主题的熟悉度，尽量选择被试都不熟悉的话题，从而减少因话题熟悉程度不同所造成的实验结果偏差。除了文本熟悉度，文本材料的翻译难度也是影响实验结果的一个重要因素。在被试内设计实验中，研究者往往通过操纵各种自变量(如时间限制、翻译模式、翻译方向等)来比较被试在完成翻译任务时的表现。此类实验的前提条件是所有任务的材料难度基本保持一致，除非文本的翻译难度本身就是实验的自变量。如果实验文本的翻译难度不具有可比性，那么就很难确定眼动指标的变化是由实验设计的自变量还是由实验材料的不同难度所引发。目前，测量翻译难度的客观指标主要是基于源语文本的可读性指标，但这一指标与翻译难度之间的相关系数较低(Sun & Shreve 2014: 112)。因此，确定源语文本的熟悉度与翻译难度也是研究者必须面临的挑战之一。
(3) 顺序效应与疲劳效应
在重复测量的实验中，任务的先后顺序对实验结果的影响尤其值得重视。如果研究者没有对任务顺序进行事先设计，所有的被试都采取同样的任务顺序，那么就可能产生顺序效应和疲劳效应。一方面，首先完成的翻译任务不可避免地会对后续开展的任务产生影响，使得后续任务的加工和处理相对容易。多项研究结果表明，实验任务的顺序会对翻译任务的持续时间产生系统性影响，大多数参与者在执行第一项翻译任务时会花费更多的时间(Alves et al.2009；冯佳2018)。另一方面，由于翻译是一项高强度的脑力活动，再加上眼动实验过程中活动受限，因此如果眼动实验的任务量大、持续时间较长，被试很容易出现疲劳效应，从而影响他们在完成后续翻译任务时的表现。
3.2 统计结论效度影响因素
统计结论效度与内部效度密切相关，它主要关注因统计方法适切性引起的结论有效性程度。在数据统计和分析过程中，测量误差、异常值处理、违反统计条件等都会对实验的统计结论效度造成较大的影响。
(1) 测量误差
在评估眼动实验的测量误差时，两个重要参数是空间准确度(spatial accuracy)和采样率(sampling rate)。空间准确度是指视线的实际落点与眼动仪采集到的位置之间的平均误差。在翻译眼动实验中，实验材料通常是文本而非单句，而为了提高生态效度，研究者往往会选择遥测式眼动仪。由于被试可以自由移动身体和头部，因此很容易产生测量误差，即注视点很有可能偏离既定的兴趣区，落到相邻的词、句上，导致系统误差(systematic errors)。虽然Translog-II采用了注视点和注视词匹配的算法(Gaze-to-Word Mapping, GWM)来减少系统误差，但翻译眼动实验中的系统误差仍然普遍存在(Carl 2013)。如图 2所示，被试注视原文第一行的注视点被错误地匹配到了原文第二行，如果研究者想考察原文第一行某一个兴趣区的译文质量和该兴趣区对应的认知努力之间的关系，那眼动数据的系统误差势必会影响这两个变量之间的关系。而采样率是指眼动传感器每秒采集眼球图像的次数。一般而言，眼动仪的采样率越高，采集的眼动数据越丰富，数据的精度也会越高；而眼动仪的采样率越低，越容易忽略两个采样点之间的眼动细节特征，尤其是微眼跳或其他微小的注视细节。虽然在翻译眼动实验中，眼动仪的采样率没有统一要求，但有一点可以肯定，即采样率如果低于150Hz则会影响统计的效应量(effect size)(Holmqvist et al.2011: 30)。
图2 Translog-II中眼动数据的系统误差(Carl 2013)
(2) 异常值处理
根据Baayen(2008: 27)的定义，异常值(outliers)是指所有数据中异常偏大或偏小的数据点(data points)。目前在翻译过程研究中，还没有统一的眼动数据异常值处理标准，剔除异常值很大程度上取决于研究者的个人经验。在翻译眼动实验过程中，可能会出现由于被试没有看眼动仪屏幕或身体移动范围过大导致无效数据比例较高，或观测值异常偏小。不同研究者对于屏幕注视时间(Gaze Time on the Screen, GTS)所设定的最低阈值(threshold)有较大的差异，有的研究者将最低标准定为70%(O’Brien 2009: 257)，有的研究者将最低标准定为40%(卢植、孙娟2018)，还有一些研究者则剔除落在样本均值左侧1个标准差以外的数据(Hvelplund 2011: 104)。在剔除过短注视点的标准上，研究者们的做法也不尽相同，一些研究将最短注视时长(minimum fixation duration)的标准定为100毫秒(如欧盟EYE-to-IT项目；Hvelplund 2011: 110)，而使用Translog-II收集到的眼动数据，进行在线或离线注视点与词匹配的过程中，则自动剔除70毫秒以下的注视点(转引自冯佳2018: 105)。在剔除异常偏大数据点方面，有的研究者采用模型诊断(model criticism)的方法(Baayen 2008: 188)，剔除标准化残差的绝对值超过2.5倍标准差的数据点(Vieira 2014)；而有的研究者则基于箱线图(box plot)在拟合模型前便剔除异常偏大的数据点(Sun et al.2020: 141-142)。异常值处理方法的不同不仅会影响实验的统计结果，而且会造成研究结果间可比性不强。
(3) 违反统计条件
除了测量误差和异常值处理方式，统计方法的选择也会对实验结果产生较大的影响。在认知心理学实验中，析因设计(factorial design)和方差分析(ANOVAs)是最常用的统计分析方法和手段。但是，上述方法的前提条件是实验中的无关变量可以得到严格的控制，因而较适用于严格的实验设计。而翻译过程研究往往采取准实验设计，为了尽可能提高生态效度，眼动实验往往在较为自然的情境下开展，这使得研究者很难对实验中相关变量进行严格的控制。如果不考虑无关变量的干扰，直接采取析因设计和方差分析，那么就很难排除实验结果的显著差异是由无关变量(如被试的个体差异、实验材料的翻译难度等)引起的可能性。另外，翻译眼动实验通常会面临数据丢失的情况(如被试看键盘，导致注视屏幕时间偏低)，出现许多缺失数据(missing data)。对于不平衡的实验数据，如果只使用方差分析，那么可能会影响实验结果的准确性(Baayen 2008: 265)。
3.3 外部效度影响因素
外部效度主要反映实验结果的代表性和适用性，翻译眼动实验外部效度的影响因素包括以下三方面：
(1) 被试数量有限①
被试数量太少是目前眼动研究存在的普遍性问题。一般而言，在量化研究中，被试人数越多，样本量越大，研究结论就越具有代表性和适用性。但是，在翻译过程研究中，眼动实验的被试人数普遍较少。其主要原因在于，在实验材料或兴趣区数量本身就相对较大的情况下，每增加一名被试都会产生大量眼动数据，而且与眼动追踪结合使用的其他记录方法(如键盘记录)也会产生大量行为数据。繁重的数据处理和分析任务使得研究者不得不尽可能减少参与实验的被试人数。然而，用较少的被试数量完成大量实验材料得出的结论并不等同于使用大量被试完成少量实验材料得出的结论，因为前者的结论倾向于推广至实验材料总体，而后者的结论更倾向于推广至被试的总体(Balling & Hvelplund 2015: 173)。近年来，翻译眼动实验的被试对象数量有所增多(如冯佳2018)，但是总体仍然偏少, 如Vieira(2017)的研究仅有19名被试参与了眼动实验，这在一定程度上影响了实验结论的外部效度。
(2) 实验情境人为性
由于种种条件的限制，翻译眼动实验中的实验材料和任务要求往往与真实情境下的翻译活动并不一致。一方面，在翻译眼动实验中，由于种种限制，源语文本材料的篇幅都过短(英语源文本通常少于200词)。然而，翻译篇幅如此短小的文本在翻译活动中并不常见。尤其在职业翻译领域，职业译者往往以项目形式开展翻译活动，翻译文本的篇幅往往在数万甚至几十万字/词以上，需要花费几天甚至是数周的时间才能够完成。因此，这种基于简短或节略文本得出的实验结论很难推广到实验以外的大多数情境(O’Brien 2009: 261-262)。另一方面，为避免外部资源使用对眼动数据收集和分析的干扰，眼动实验一般不允许被试使用词典、语料库、网络搜索引擎等外部资源。然而，除非在进行测试的情况下，很少有译者会在没有任何外部资源辅助的条件下开展翻译。Hvelplund(2017)的研究发现在线资源查询行为在整个翻译过程中的占比高达25%。可见，尽管从简化眼动数据收集和分析的角度来看，“不使用外部资源”的要求具有一定的合理性，但从这种“纯净”数据记录中得出的发现和结论的代表性和适用性有待商榷。
(3) 实验处理的变异
在实验研究中，研究者们可能会采取相同的实验处理，但是同一种实验处理可能会存在不同的水平或条件上的变异(treatment variation)，这种变异不仅会影响实验结果，而且会影响实验结论的推广性。同样的情形也存在翻译眼动实验研究中。比如，在考察机器翻译译后编辑认知努力的研究中，有的研究者要求被试进行完全译后编辑(full post-editing)，尽可能多地使用机器翻译的初始译文，避免偏好性修改(preferential changes)(如Carl et al.2015)；而有的研究者虽然也要求被试做完全译后编辑，但并没有告知被试要避免偏好性修改(如Vardaro et al.2019)。虽然都是进行完全译后编辑，但是由于具体要求有所不同，因而调查得出的眼动数据也存在一定的差异。因此，研究者必须根据特定的实验条件做出有限推论，否则就可能出现过度概括实验结论的现象。
3.4 构念效度影响因素
构念效度主要涉及操作性定义和构念之间的匹配程度，翻译眼动实验构念效度的影响因素主要体现在以下两方面：
(1) 被试界定过宽或过窄
在翻译眼动实验中，研究者经常会招募不同经验水平的被试(如翻译新手、职业译者、半职业译者)进行对比研究。但是，目前学界对译者的身份界定缺乏统一标准，加之译者这一概念本身也具有模糊性，这使得研究者们只能根据各自的标准进行界定，可能出现被试代表性过宽或过窄的现象。比如，职业译者可能是一个具有十年全职翻译经验的自由译者，也可能是一个刚到翻译公司工作不满一年的毕业生，虽然二者都可以被称为职业译者，但是他们无论是在能力还是经验方面都相差甚远(O’Brien 2009: 254)。再如，在界定半职业译者时，有的研究者提供的操作性定义为“接受过职业化的翻译训练，且临近毕业的硕士生”(Krings 2001: 2)；而有的研究者界定较为宽泛，即“必须有3年以上的业余翻译经验，但不具备全职翻译经验”，因此一些毕业之后从事兼职翻译的被试也归为半职业译者(郑冰寒2012: 135)。一般而言，如果被试的操作性定义过窄，解释的范围就越小，普遍性也就越小；而如果操作性定义过宽，失之笼统，则研究结果易流于偏狭。
(2) 测量指标的有效性
在翻译过程研究中，测量认知努力的常见指标包括注视时长、注视次数和瞳扩值等(刘艳梅等2013)。然而，大多数眼动指标只能反映认知活动的某个侧面，而且指标变化受一系列因素的影响，仅凭某一类指标对译者的认知努力大小进行推论具有一定的风险性。比如，Hvelplund(2011: 221-224)曾尝试验证译者分配在平行加工过程中的认知资源是所有加工类型中最少的这一假设，虽然注意单位时长(AU duration)这一指标结果与假设一致，但总注意时长(TA duration)并不完全支持上述假设。又如，在英译汉过程中译者的认知资源分配模式研究中，王一方、郑冰寒(2020)发现，就目的语处理的认知注意力所占比例方面，眼-键指标与被试的主观反省数据的发现相反。其中一个可能的原因是在英译汉过程中，被试在中文输入框中选词的眼动数据也被认为是目的语处理过程中的认知加工。因此，仅仅根据单一种类眼动指标或仅用眼动指标推测译者的认知努力有可能会导致实验结论不可靠。
4 翻译眼动实验效度的控制
提高实验效度的目的是确保研究结论的准确性和有效性，因而在实验设计和实施时要尽可能控制威胁实验效度的各种因素。本文在前人研究的基础上，结合我们所做的系列翻译眼动实验，建议从以下几方面采取措施：
(1) 规范实验设计，严格控制无关变量，提高实验内部效度。
要提高眼动实验内部效度，关键的问题在于控制无关变量，尽量排除某些伴随着自变量变化的无关变量的混淆。在翻译眼动实验设计时，研究者可以预先将可能影响实验结果的变量排除于实验条件之外，尽量避免或控制这些潜在的威胁。首先，严格筛选实验对象，确保被试眼部生理结构和矫正视力正常，不会影响数据的收集。同时，根据实验设计，尽可能使被试在除自变量以外的其他变量保持相等或接近。比如，通过问卷或测试调查被试的专业背景、翻译经验、语言水平、盲打能力、工作记忆容量等，并根据调查结果对被试进行筛选和分组。其次，在选取实验材料时，为了防止由于翻译难度不同而造成与自变量效应发生混淆，研究者要考察被试对源语文本类型和主题的熟悉度，确保不同任务材料在难度上具有可比性。在操纵翻译难度这一变量时，既可以采取客观指标(如可读性公式、词频、非字面意义表达的数量)，也可以邀请专家对翻译难度进行主观评分。再次，在重复测量的实验设计中，研究者可采取抵消平衡法(counter-balancing methods)，如拉丁方设计(Latin square design)，以减少潜在的顺序效应和疲劳效应。
(2) 扩大被试数量，减少实验人为因素，提升研究结论的推广性。
目前，翻译眼动实验的被试数量普遍较少，在一定程度上限制了实验结论的推广性。为了克服这一弊端，研究者可通过计算统计效力来确定实验的样本量(胡传鹏等2016)，也可以利用现有翻译眼动实验数据库进行研究。在这方面，Michael Carl与Arnt Lykke Jakobsen的做法值得借鉴，该团队开发的“翻译过程研究数据库”(简称CRITT TPR-DB)收集了大量的翻译过程行为数据，并采用了统一标准进行加工和标注，这使得研究者不仅可以对同一实验的数据进行不同层次和维度的分析，还可在不同语言对间进行对比研究。但需要注意的是，被试数量不是越多越好，因为样本量过大会使一些细小的效应也变得显著，导致出现一类错误(Type I error)(Holmqvist et al.2011: 86)。另外，为了提高实验的外部效度，后续研究在开展翻译眼动实验时应尽量减少人为因素，使实验情景接近于自然。首先，选取实验材料时要遵循“真实性”和“完整性”的原则，尽量避免删减或修改。其次，为了保证翻译过程在真实、自然的情境下进行，主试应允许被试使用各种在线资源。在这方面，研究者可以参照Cui & Zheng(2021)的做法将屏幕分为两个区域，其中左侧区域供原文呈现和译文输入，右侧区域设置为浏览器界面供译者查询检索。最后，尽量选用对翻译活动干扰较小的遥测式眼动仪进行数据采集，同时在实验过程中，主试要与被试保持一定的距离，尽量减少提醒的次数，避免出现“霍桑效应”(Hawthorne effect)。
(3) 提高眼动数据质量，合理利用统计分析手段，确保统计效度。
眼动实验结束后，研究者可以通过数据筛选和统计建模等手段来排除无关变量的干扰，提高统计效度。一方面，在收集眼动数据之后，研究者首先需要对眼动数据进行筛选，以避免数据质量不佳而影响实验结果。翻译过程研究通常会采用平均注视时长(Mean Fixation Duration, MFD)、屏幕注视时间(Gaze Time on the Screen, GTS)和凝视/注视比(Gaze Sample to Fixation Percentage, GFP)等指标来衡量眼动数据的质量，但这些指标仅仅能满足兴趣区为原文区或译文区的情况。如果兴趣区在句子或句子以下层面，那么就有必要对注视点偏移现象进行核查和修正，并根据回放的扫视路径(scanpath)剔除精确度较差的眼动数据(Holmqvist et al.2011: 34)。另一方面，实验结束后，研究者还可以运用统计分析手段对影响实验结果的无关变量进行控制。近年来，越来越多的研究者开始在翻译眼动实验研究中采用混合效应模型进行统计分析(Balling & Hvelplund 2015)。相比于方差分析，混合效应模型更适合于准实验研究，其优势在于既可以考察自变量引起的固定效应(fixed effects)，也可以考察被试和实验材料的随机效应(random effects)。通过建立混合效应模型，研究者也可以将那些预计可能对实验结果有影响而又难以严格控制的因素作为协变量(如任务顺序)纳入到统计模型中(吴诗玉2020)。
(4) 准确界定实验变量，灵活选择测量指标，确保实验操作与理论构念的一致性。
在翻译眼动实验研究中，被试的代表性和测量指标的有效性是影响构念效度的关键因素。一方面，鉴于目前学界对于译者身份缺乏统一的界定标准，研究者需要在研究设计中对被试做出准确、具体的操作性定义。如果采用“职业译者”“半职业译者”“翻译新手”等术语或标签，界定时需要参考前期研究中的标准，并提供具体的量化指标或条件，如翻译年限、周/日翻译量、翻译质量反馈、全职还是兼职等。然而，关于职业化(professionalism)，目前学界仍缺乏一套科学的量化指标(Nitzke 2019: 268)。另一方面，在测量指标的选择上，研究者需首先明确不同眼动指标反映认知努力的有效性和局限性，避免使用单一眼动指标(尤其是不稳定的瞳扩值)进行推论。为了得到比较可靠的研究结果，研究者可以考察多项指标对实验结果进行多元互证，同时还可以结合被试译后即时回溯报告来进行检验，从而确保眼动数据可以恰当地反映研究构念。
5 结语
近年来，随着翻译眼动实验研究的迅速发展，实验效度的重要性也日益凸显。本文重点探讨了影响翻译眼动实验效度的各种潜在因素，并尝试提出了一些应对措施和建议。但是，这还只是一个初步的策略系统，有待进一步丰富和完善。例如，若主试允许被试使用外部资源，那被试分配在原文区和译文区的注意资源总量与不允许被试使用外部资源的情况是否有显著差异？实验效度的影响因素十分复杂，一些因素在前文中虽未提及，但也有可能对实验效度造成潜在的威胁。例如，从认知工效学角度来看，原文区和译文区的不同布局模式(即以上下布局和左右平行布局)是否会对眼动数据产生影响？另外，在选取因变量进行统计建模时，原文区或译文区注视时长和注视次数的相对值(即占总兴趣区的比例)与绝对值之间对实验结论的影响有何差异，还有待进一步探索(冯佳2018)。这些问题与实验效度密切相关，建议后续研究针对上述问题开展实证研究，从而推动翻译眼动实验的不断成熟和发展。
① “被试数量有限”也可以归为统计结论效度影响因素，而此处主要关心的是翻译眼动实验的结果是否可推广至被试总体。
6 参考文献
略。
作者简介：
1. 王均松，西北工业大学 外国语学院，陕西 西安 710129
2. 钱家骏[通讯作者], 上海外国语大学 英语学院，上海 200083
3. 郭亚玲，河北师范大学 外国语学院，河北 石家庄 050024
基金项目：
国家社科基金重点项目“认知翻译学视阈下的认知翻译过程研究”（19AYY014）
致谢：
美国肯特州立大学翻译与翻译技术研究与创新中心（CRITT）的Michael Carl教授、上海交通大学外国语学院吴诗玉教授和SR Research中国代表处宋昌霖工程师在本文撰写过程中提供了学术指导，特此致谢！
