研究表明，大型语言模型（LLM）往往会过度强调文档或对话开头和结尾的信息，而忽略中间部分。这种“位置偏差”意味着，如果律师使用 LLM 驱动的虚拟助手在 30 页的宣誓书中检索某个短语，当目标文本位于开头或最后几页时，LLM 更有可能找到正确的文本。
近期，麻省理工学院（MIT）的研究人员揭秘了这一现象背后的机制。
他们创建了一个理论框架来研究信息如何流经构成 LLM 核心的机器学习架构。结果发现，控制模型如何处理输入数据的某些设计选择会导致位置偏差。
实验表明，模型架构（特别是那些影响信息在模型内部输入词之间传播的架构）可能引发或加剧位置偏差，训练数据也会加剧该问题。
除了找出位置偏差的根源，他们的框架还可用于诊断并在未来的模型设计中纠正这一问题。这可能会催生：在长时间对话中更能保持话题的可靠聊天机器人；在处理大量患者数据时推理更公平的医疗 AI 系统；能更仔细关注程序所有部分的代码助手。
麻省理工学院数据、系统与社会研究所（IDSS）和信息与决策系统实验室（LIDS）的研究生、该研究论文的第一作者 Xinyi Wu 表示：“这些模型是黑箱，因此作为 LLM 用户，你可能不知道位置偏差会导致模型输出不一致。你只是按自己希望的顺序将文档输入模型，并期望它正常工作。但通过更好地理解这些黑箱模型的底层机制，我们可以通过解决这些局限性来改进它们。”
其他作者包括麻省理工学院博士后 Yifei Wang，电气工程与计算机科学系副教授、IDSS 和计算机科学与人工智能实验室（CSAIL）成员 Stefanie Jegelka，以及土木与环境工程系教授兼系主任、IDSS 核心教员、LIDS 首席研究员 Ali Jadbabaie。该研究将在国际机器学习大会上发表。
分析注意力机制
Claude、Llama 和 GPT-4 等大型语言模型由一种称为 Transformer 的神经网络架构驱动。该架构专为处理序列数据设计，将句子编码为称为“token”的片段，通过学习 token 之间的关系来预测后续词汇。
这些模型之所以擅长此任务，得益于注意力机制。通过多层互联的数据处理节点，让 token 能够有选择地关注（即“注意”）与之相关的其他 token，从而理解上下文。
但当每个 token 都需要关注 30 页文档中的所有其他 token 时，计算量很快就会变得难以处理。因此工程师在构建 Transformer 模型时，通常会采用注意力掩码技术来限制 token 可关注的词汇范围。例如，因果掩码只允许词汇关注其前面的内容。
工程师们还使用位置编码技术，通过标记每个词汇在句子中的位置来提升模型表现。
MIT 研究团队建立了一个基于图论的理论框架，专门研究这些建模选择（注意力掩码和位置编码）如何影响位置偏差。“注意力机制内部所有元素都相互耦合纠缠，很难单独研究。图论作为一种灵活的语言，能清晰描述注意力机制中词汇间的依赖关系，并追踪其在多层网络中的传递路径。”Wu 解释道。
理论分析表明，因果掩码会使模型对输入文本开头产生固有偏好，即便数据本身并不存在这种偏差。当句子开头词汇对语义并不重要时，因果掩码仍会迫使 Transformer 过度关注起始部分。“虽然句子首尾词汇通常确实更重要，但如果将大语言模型用于非自然语言生成任务（如排序或信息检索），这种偏差会带来严重问题。”Wu 指出。
随着模型规模扩大、注意力机制层数增加，这种偏差会被放大，因为输入文本的前段内容会在模型推理过程中被更频繁地使用。
研究还发现，采用位置编码技术强化词汇与邻近词汇的关联可以缓解位置偏差。这种方法能将模型注意力重新聚焦到正确位置，但在深层网络中其效果会逐渐稀释。
需要注意的是，这些架构设计只是位置偏差的来源之一，部分偏差可能来自模型训练数据本身对词汇优先级的设定。“如果已知数据存在特定偏差，除了调整建模方案外，还应该对模型进行微调。”Wu 建议道。
“中间迷失”现象
在建立理论框架后，研究人员进行了一系列实验：在信息检索任务中，他们系统性地改变正确答案在文本序列中的位置。实验揭示出“中间迷失”现象——检索准确率呈现U型曲线：当正确答案位于序列开头时模型表现最佳；随着答案位置向中间移动，性能逐渐下降；而当答案接近末尾时，准确率又略有回升。
这项研究最终表明，通过采用不同的掩码技术、精简注意力机制的冗余层数，或策略性地运用位置编码，都能有效降低位置偏差并提升模型准确性。“通过理论与实验相结合，我们得以洞察那些当时尚不明确的模型设计选择所带来的影响。若要将模型应用于关键场景，必须清楚知晓其适用边界与失效原因。”Jadbabaie 强调。
未来，研究团队计划深入探究位置编码的影响机制，并研究如何在某些应用中策略性地利用位置偏差。“这项研究为 Transformer 模型的核心——注意力机制提供了珍贵的理论视角。他们通过令人信服的分析，阐明了 Transformer 行为中长期存在的异常现象，证明注意力机制（尤其是配合因果掩码使用时）会令模型对序列开头产生固有偏好。这篇论文实现了双重突破：既保持了数学严谨性，又深入揭示了现实系统的运行本质。”未参与该研究的斯坦福大学计算市场设计中心主任 Amin Saberi 教授评价道。