介绍
2605.27993 重新思考视觉忽视：通过情境引导——MLLM幻觉缓解的偏好
本文为这篇论文的阅读学习笔记
挑战以往工作中“增强视觉依赖即可降低幻觉”的单一假设，通过系统性干预实验发现，图像会同时与模型参数化知识和历史文本上下文产生竞争关系。基于这一观察，提出训练无关的 Context-Preference Activation Steering（CAS）推理期干预方法，将 MLLM 的视觉依赖解耦为两类上下文偏好。
设计两组冲突样本来提取 Context Preference Vectors：基于反事实图像构造 Visual Fidelity Vector（VFV），刻画模型在“外部视觉证据 vs 内部常识先验”之间的偏好；基于对称图文冲突对构造 Modality Reliance Vector（MRV），刻画模型在“视觉上下文 vs 文本上下文”之间的模态依赖。
在 LLaVA-1.5、Qwen-VL、Shikra 等主流 MLLM 上的实验表明，不同模型对视觉信息、参数化知识和文本上下文的依赖存在显著异质性，并提出带符号的激活引导干预：在推理阶段根据模型自身的偏好方向选择正向或负向干预，在 MLP 层输出处进行带符号的残差注入。
实验结果显示，CAS在多个模型评测中，平均 CHAIR_S 从 55.5 降至 38.5，下降 30.7%，在显著降低物体幻觉的同时保持生成质量稳定。在 AMBER 生成式评测中，平均 Hal 从 36.1 降至 25.9，下降 28.2%，验证了 CAS 在多模型、多基准任务上的稳定泛化能力。推理延迟为 28.09ms/token，与原模型基本同量级，几乎不引入额外推理开销。
幻觉现象
1.强大的“语言刻板印象”（Language Prior / Statistical Bias）
大模型在纯文本预训练阶段，读了上万亿字的人类书籍。在它的记忆里，某些词是高度绑定、经常一起出现的（即 Co-occurrence 统计偏见）。
大模型的参数量通常比视觉部分大得多，会出现即使视觉部分看清了，但是还是被语言部分影响，因此出现幻觉
2.长文本中的文本惯性或过度信赖（Text Inertia / Over-trust）
前者指多模态模型在自回归解码中，由于文本特征流的权重压倒了视觉特征流，导致后续 Token 的生成完全受历史文本指令支配，模型输出退化为无条件语言建模（Unconditional Language Modeling）的行为。
后者指在 Transformer 的自回归解码阶段，自注意力矩阵（Self-Attention Matrix）的权重在已生成的文本 Token 上形成了异常密集的局部聚集，形成“注意力黑洞”，从而阻断了来自图像（Vision Tokens）的信息流。
评测指标
CHAIR 评测流程：基于文本解析的“名词物体验证”
CHAIR 的评测本质是一个“生成-提取-比对”的流水线，通常建立在 MSCOCO 数据集上（因为该数据集有极度详尽的人工物体标注）。
1. 模型生成（Caption Generation）
- 给大模型输入一张测试图片，并配合标准的生成提示词（例如：
"Describe this image in detail."）。
- 模型自回归生成一段完整的描述性文本（Caption）。
2. 文本解析与名词提取（POS Tagging & Parsing）
- 评测脚本调用自然语言处理工具包（如 SpaCy 或 NLTK）对模型生成的文本进行词性标注（POS Tagging）。
- 过滤并提取出所有的名词和名词短语（例如：“cat”、“table”、“apple”），这些代表模型认为图片里存在的物体。
3. 同义词与类别映射（Synonym Mapping）
- 大模型输出的词汇可能五花八门（如 “kitty”），而 MSCOCO 固定的物体标签只有 80 类（如 “cat”）。
- 评测系统使用预设的同义词词典，将模型生成的名词全部归一化映射到官方的物体类别中。
4. 真实标签比对（Ground-Truth Matching）
- 将映射后的物体名词，与该图片在数据集里自带的人工标注物体列表（Ground-Truth Objects）进行逐一比对：
- 如果模型说了 “dog”，而人工标注里有 “dog”，则计为正确物体。
- 如果模型说了 “sofa”，但人工标注里完全没有 “sofa”，则计为幻觉物体（Hallucinated Object）。
5. 指标结算
根据全量测试集的结果，带入公式计算：
- $CHAIR_I$ (Instance-level)：$\frac{\text{幻觉物体词出现的总次数}}{\text{所有生成的物体词总次数}}$
- $CHAIR_S$ (Sentence-level)：$\frac{\text{包含至少一个幻觉物体的句子数量}}{\text{总生成句子数量}}$
POPE 评测流程：基于非对称采样的“是非题盲测”
POPE 彻底抛弃了自由文本生成的复杂性，直接将幻觉转变为二分类（Yes/No）\的问答流程。其核心灵魂在于*如何向模型提问（即负样本采样策略）*。
1. 构建智能问答库（Question Construction）
评测集针对每一张图片，构建大量的“图片中是否有 [物体] ？”的标准问题。问题分为两大家族：
- 正样本问题（表中确实有）：根据 Ground-Truth，直接问图片里存在的物体（预期回答：Yes）。
- 负样本问题（表中其实没有，专门用来钓鱼）：这是 POPE 的核心，分为三种模式：
- Random（随机）：从整个数据集的物体库中，随机挑一个这张图没有的物体（如：图里是厨房，随机问有没有“斑马”）。太简单，模型容易识破。
- Popular（高频）：挑选整个数据集里出现频次最高的物体（如“人”、“包”），哪怕这张图里没有。考验模型是否对高频词有盲目偏见。
- Adversarial（对抗式）：根据协同过滤原理，挑选那些经常与图中物体共同出现、但这张图里恰好没有的物体（如：图里有“马路、汽车”，偏问有没有“红绿灯”）。极具误导性，最容易诱发幻觉。
2. 模型推理（Inference）
- 将（图片 + 每一个 Yes/No 问题）成对喂给模型。
- 强制模型输出，或者提取模型输出的第一个有效 Token（锁定为
"Yes" 或 "No"）。
3. 混淆矩阵判定（Confusion Matrix）
将模型的回答与真实答案对比，塞进经典的二分类评测矩阵：
- 图有且模型说 Yes $\rightarrow$ True Positive (TP)
- 图无但模型说 Yes $\rightarrow$ False Positive (FP) 【判定为幻觉】
- 图有但模型说 No $\rightarrow$ False Negative (FN)
- 图无且模型说 No $\rightarrow$ True Negative (TN)
4. 指标结算
计算全集下的 Accuracy（准确率）、Precision（精确率）、Recall（召回率） 以及 F1-Score。如果 F1 和 Precision 很低，说明模型是个“Yes Man”（不管看到啥都只会盲目说 Yes）。
AMBER 评测流程：无需大模型的“双轨交织矩阵”
AMBER 结合了 CHAIR 的自由表达验证和 POPE 的严苛抗噪能力，并且实现了多维度的纯自动化流水线。
同一张图片进入 AMBER 评测集后，会被同时分流到两个完全不同的测试轨道：
轨道 A：AMBER-G（生成式轨道）
- 流程：向模型发送开放式指令（如描述图像）。
- 提取：模型吐出长文本。AMBER 并不调用 GPT-4 这种昂贵的外部裁判，而是使用内置的经过优化的自动化关键词匹配正则引擎。
- 比对：提取出名词后，直接与图片对应集成的 Object 字典匹配。
- 结算：输出 CHAIR、Cover（模型提及了多少比例的真实物体） 以及 Hal（整体句级幻觉率）。
轨道 B：AMBER-D（判别式轨道）
- 流程：向模型发送定制的是非题（Yes/No），但这些问题被精细地打上了维度标签。
- 多维度设陷：
- 存在性问答：“图里有xx吗？”（验证模型是否凭空造物）
- 属性问答：“图里的那辆车是红色的吗？”（实际是蓝色的，验证状态幻觉）/“图里有三只猫吗？”（实际只有一只，验证数量幻觉）
- 关系问答：“笔记本电脑是在桌子的下面吗？”（实际在上面，验证空间关系幻觉）
- 结算：模型回答 Yes/No 后，系统分别计算出存在、属性、关系三大独立维度的 Accuracy 和 F1-score。
2. 全局综合得分汇算（Final Aggregation）
AMBER 会把生成式轨道和判别式轨道的得分加权汇总，输出一份最终的综合雷达图评分。
这套双轨流程确保了：任何通过“牺牲生成能力、只一味回答 No”来刷判别式高分的作弊手段，都会在生成式轨道的 Cover 指标上暴雷；反之，胡言乱语的模型也会在判别式轨道上大比分落后。这也是为什么前沿工作非常喜欢用它来做最终全方位验证的原因。
解决的主要路线
通常，要解决大模型的幻觉或错误，有两种主要路线：
- 训练阶段方法（Training-time methods）： 重新收集高质量数据，对模型进行对齐训练（如结合人类反馈的强化学习 RLHF、监督微调 SFT）。缺点： 耗费巨大的计算资源、时间和金钱，且一旦模型训练完，固有的错误很难再改。
- 推理阶段方法（Inference-time methods）： 不需要重新训练或微调模型（Training-free），直接在模型吐出字（Token）的过程中进行实时干预。优点： 成本极低（甚至接近零额外成本），即插即用，非常灵活。
相关工作
基于训练的幻觉缓解 (Training-based Hallucination Mitigation)
核心方法与代表性技术
根据目前的研究进展，基于训练的缓解方案主要演化出以下几种代表性路径：
- 基于 DPO 的基础对齐：这类方法通常在忠实（faithful）的响应与包含幻觉（hallucinated）的响应之间构建显式的偏好关系，通过直接偏好优化（DPO）来让模型学会拒绝幻觉。
- 感知增强的 DPO 变体：近期的研究进一步将“幻觉感知的偏好构造”与“多模态感知先验”纳入其中，专门面向物体感知和感知增强进行扩展。
- Re-Align (Xing et al., 2025)：该方法通过图像检索技术来构造双重的“文本-视觉偏好对”，并使用检索增强的 DPO 技术对视觉语言模型（VLM）进行微调。
- RLHF-V (Yu et al., 2024)：将人类反馈强化学习（RLHF）的思想引入多模态幻觉抑制中。它通过收集片段级（segment-level）的细粒度纠错反馈，并利用 Dense DPO 进行精准的行为对齐。
该路线的优势与局限性
虽然基于训练的方法能够为模型带来稳定的收益，但它在实际落地时也存在明显的瓶颈：
| 优势 (Pros) |
局限与挑战 (Cons) |
| 稳定性高：能够带来相对持久和稳定的幻觉抑制收益。 |
资源消耗高昂：极度依赖大规模的偏好数据以及大量的计算训练资源。 |
| 针对性强：可以通过引入细粒度的片段纠错或检索增强，提升对特定物体的感知精确度。 |
通用能力受损：对齐后的模型在通用任务上的表现，有时反而会弱于原始的 VLM 基座。 |
|
行为退化风险：标准的 RLHF 采用粗粒度偏好，容易引发“奖励黑客”（reward hacking）和“行为退化”（behavior degeneration）。 |
Training-free
先检测后修正的流程Detect-then-Correct Workflows
根据您提供的文献资料，以下为您详细介绍无需训练的“先检测后修正”流程（Training-free Detect-then-Correct Workflows）：
核心逻辑与工作原理
这类方法并不直接干预模型的单次解码生成过程，而是构建一个后处理流程（Post-processing Pipeline）。它们会对大模型已经生成的原始文本结果进行多阶段的审查与重写，通过定位并纠正其中的错误，从而达到抑制物体幻觉的目的。
代表性技术与方法
根据文献，这类工作主要有以下几种典型的技术实现：
- LURE (Zhou et al., 2024)：训练一个专门的“幻觉修订器”。该修订器以模型生成的原始描述作为输入，在文本中精准定位幻觉物体，并将其重写为与视觉内容忠实的描述。
- Woodpecker (Yin et al., 2024)：将整个检测与修正过程标准化地拆分为五个阶段。它在运行中需要依次调用外部的 VLM 来分别完成“关键概念抽取”、“视觉声明验证”以及“文本重写”等子任务。
- Generate-then-verify 变体 (Wu et al., 2025)：这类近期的方法引入了回溯验证（Backtracking Verification）和重采样（Resampling）机制，通过在生成后进行验证循环，来减少缺乏图像证据支撑的文本生成。
该路线的优缺点分析
| 优势 (Pros) |
局限与挑战 (Cons) |
| 即插即用 (Plug-and-play)：不需要修改或重新训练多模态基准模型的原生参数，具有很强的通用适配性。 |
推理延迟显著 (High Latency)：由于采用流水线设计，每个样本的深度检查通常需要 3–5 次顺序的模型调用，无法满足流式实时输出的需求。 |
|
计算开销高昂 (High Overhead)：这类方法高度依赖外部的 VLM、检测器或密集的重采样过程，带来了不可忽视的额外计算资源消耗。 |
回溯与层对比解码 (Retrospection and Layer-Contrastive Decoding)
1. 核心假设与原理
这类方法建立在一个共同的隐含假设之上：模型在生成文本时，其内部其实已经隐式地编码了关于“相对忠实度”（Relative Faithfulness）的信号。因此，不需要修改模型参数，也不需要调用外部工具，只需在解码（Decoding）阶段设计特定的机制去检测并放大这些正面信号，就能在输出端抑制幻觉。
2. 代表性方法与技术实现
根据技术路径的不同，该路线主要衍生出“回溯机制”与“跨层对比”两种方案：
- 回溯机制（以 OPERA 为代表）：
- 工作原理：OPERA (Huang et al., 2024) 在模型的束搜索（Beam Search）过程中，会实时监测注意力权重的分布。
- 关键操作：一旦在某些 token 上检测到“过度信任”（Over-trust）的异常注意力模式（这通常是幻觉累积的信号），就会触发回溯重新选择机制，强行让模型退回上一步并重新选择更可靠的 token。
- 层对比解码（以 DoLa 和 DeCo 为代表）：
- 工作原理：DoLa (Chuang et al., 2024) 及其在多模态领域的扩展工作 DeCo (Wang et al., 2025a) 试图在模型的层级（Layer Level）上捕捉忠实度信号。
- 关键操作：它们会将模型较高层和较低层的隐层状态同时通过语言头投影到词表上，计算各自的输出 Logits，并让二者进行对比（Contrast）。
- 筛选策略：在解码时，模型会优先保留那些在跨层对比中“一致性更高”的 token，从而过滤掉低层中残留的幻觉噪声。
3. 该路线的局限性与痛点
虽然这类方法善于发掘模型的“内在潜能”，但在实际流式部署中存在以下技术瓶颈：
- 高昂的推理开销，破坏流式输出：回溯方法（如 OPERA）需要频繁维护和执行多次“束回退”（Beam Fallbacks），这会导致模型生成的文本无法像常规大模型那样顺畅地流式逐字输出，并带来了明显的额外推理延迟。
- 加剧重复退化（Repetitive Degeneration）：层对比解码类方法在放大特定跨层一致性信号的同时，往往会破坏语言模型的自然流利度，极其容易引发文本的死循环和无意义重复。
- 对调参极其敏感：这类方法的效果高度依赖于层选择（Layer Selection）。在不同的基座模型上，究竟对比哪几层才能精准抑制幻觉，需要进行极其繁琐且敏感的超参数微调。
基于视觉忽略假设的方法（Methods under the Visual-Neglect Hypothesis）
核心假设
这一类工作建立在一个共同的隐含共识之上：多模态大模型（MLLM）的物体幻觉主要源于模型的“视觉忽略”（Visual Neglect）以及对文本先验的过度依赖。因此，无论是哪种具体的基座模型，这些方法都会通过不同的推理期干预手段，促使模型“把更多注意力放在图像上”（Pay more attention to the image），以此来抑制幻觉。
四种代表性技术实现
在具体的技术路径上，这四种方法分别在模型的解码端（Decoding side）和前向传播端（Forward-pass side）展开了不同的干预：
1. VCD (Visual Contrastive Decoding)
- 干预位置：解码端（Decoding side）。
- 技术核心：在推理时，对比原始图像与高斯噪声图像所对应的输出 Logits。
- 主要目的：通过两者的差值对比，强行抑制在视觉信号退化（加入高斯噪声）后，模型内部依然残留的盲目语言先验。
2. PAI (Paying More Attention to Image)
- 干预位置：前向传播端（Forward-pass side）。
- 技术核心：直接强行放大图像 Token 在计算时的自注意力权重。
- 辅助手段：在生成过程中，会进一步结合来自纯文本输入（无图输入）的对比 Logits，以此来削弱语言偏见。
3. AttnReal (Attention Reallocation)
- 干预位置：前向传播端（Forward-pass side）。
- 技术核心：实施注意力重分配机制。
- 具体操作：随着文本越写越长，模型往往会在历史生成的 Token 上过度累积注意力；AttnReal 会实时检测这一现象，并将这些被文本截留的注意力额度重新分配给视觉 Token，强迫模型回头看图。
4. SSL (Steering LVLMs via Sparse Autoencoder)
- 干预位置：前向传播端（Forward-pass side）/ 激活导向。
- 技术核心：引入预训练的稀疏自编码器（Sparse Autoencoder, SAE）。
- 具体操作：在模型的隐层中，将预先定义和提取好的“忠实特征向量”和“幻觉特征向量”，直接施加（Steer/注入）到对应的视觉 Token 与输出 Token 上，从认知底层的概念向量层面完成纠偏。
该假设与方案的局限性
虽然上述方法在特定场景下取得了一定成功，但本文作者通过系统性的重新审视，指出了“视觉忽略假设”存在的三大致命局限：
- 完全忽略了模型的异质性：“只要放大视觉信号就足以降低幻觉”的假设是不完整的。作者通过实验发现，不同基座模型对视觉偏好的响应具有强烈的异质性；对某些模型而言，强行推动其更强地依赖视觉信息反而可能加剧幻觉。
- 易引发重复退化：由于这类方法属于硬性增强或强力抑制，往往会破坏模型原生的生成流形（Generation Manifold），导致模型在生成文本时极易陷入死循环，引发重复退化（Repetitive Degeneration）问题。
- 提取成本高昂：以 SSL 为代表的激活导向方法，其导向信号（特征向量）的提取过程往往高度依赖于外部模型或繁重的预训练资源，无法做到真正的轻量自适应。
pai与AttnReal 缺点
“在推理阶段通过修改注意力矩阵来放大视觉词元（Image Tokens）权重”的方法（例如 PAI、AttnReal 等算法），无法直接应用在原生多模态模型中，而且这样做不仅没有必要，反而会导致模型崩溃。
1. 物理边界消失，无法在自注意力矩阵中精准定位
在 LLaVA 等拼接多模态模型中，图像由独立的视觉编码器处理，生成的“图像 Token”与提示词的“文本 Token”在序列中的位置和界限是非常清晰的。PAI 或 AttnReal 算法正是利用这一点，直接去自注意力矩阵（Self-Attention Matrix）中锁定属于图像 Token 的行和列，然后进行乘法放大。
然而，在原生多模态模型中，图片和文本在最底层通过统一分词器（Unified Tokenizer）被转化为同等地位的交织词元（Interleaved Tokens）。进入统一的 Transformer 主干网络后，各模态的特征空间在计算图内部高度融合，模态之间的物理边界已经模糊。在注意力矩阵中，你无法画出一个干净的边界去单独剥离并放大所谓的“视觉部分”。
2. 强行干预会破坏联合概率分布，导致语义崩溃（输出乱码）
原生多模态模型（如 GPT-4o、Gemini）的参数在训练时，已经让文本、图像等多种模态达到了联合概率分布的最优均衡。
如果你在推理阶段，强行对自注意力层中某些你认为是图像位置的词元施加巨大的数学惩罚或奖励，这种粗暴的外力干预会立刻破坏模型长序列建模的上下文连贯性。其后果不是缓解幻觉，而是直接破坏模型的解码逻辑，导致模型退化，直接输出乱码或产生逻辑断层（即语义崩溃）。
核心动机（Motivation）与核心实验发现（Findings）
❶ External-vs-Internal 竞争
- 本质： 实时输入的外部视觉条件约束（External Visual Context）与模型参数权重中固化的内部先验知识（Internal Parametric Knowledge）之间的抗衡。
- 现象： 模型眼前面临一张“蓝色香蕉”的图，其体内的参数化知识却强烈倾向于预测“黄色”。
❷ Cross-Modal 竞争
- 本质： 视觉上下文（Visual Context）与历史文本上下文（Textual Context）之间的支配权拉扯。
- 现象： 提示词文本中包含强烈的诱导性或错误历史（如“前文说树上有一个橘子”），导致模型在生成后续 Token 时，注意力矩阵的能量偏向文本端而忽略视觉端（即退化为无条件文本建模）。
上下文偏好向量（CPVs）的解耦与提取
为了定量化表征上述两种竞争在隐空间（Latent Space）中所处的多维几何方向，论文设计了两种冲突激发实验（Conflict-based Probing），从而在不改动模型参数的前提下，逆向提取出两个上下文偏好向量（Context Preference Vectors, CPVs）：
❶ 视觉保真向量（Visual Fidelity Vector, $\mathbf{V}_{\text{VFV}}$）
- 提取手段： 利用 反事实图片（Counterfactual Images）。
- 机理： 强行制造外部视觉与内部常识的极端冲突。捕获模型在此冲突下的隐层激活状态（Hidden States），通过差分计算剥离出纯粹掌管“外部真实视觉信任度”的特征方向。
❷ 模态依赖向量（Modality Reliance Vector, $\mathbf{V}_{\text{MRV}}$）
- 提取手段： 利用 对称图文冲突对（Symmetric Image-Text Conflict Pairs）。
- 机理： 固定视觉输入，在文本端施加偏置（或反之）。通过测量模型在多模态对齐平衡被破坏时的空间轨迹，提取出控制“该听图的还是该听文的”模态天平方向。
提取上下文偏好向量
论文指出，图像作为一种多模态上下文，在模型内部其实面临着双重语义竞争：一是与模型预训练获得的参数化知识竞争；二是与指令和生成历史构成的文本上下文竞争。基于这一全新视角，CAS 框架将视觉偏好解耦为两个独立的轴，并在离线（Offline）阶段通过精妙的样本设计来提取两个上下文偏好向量（Context Preference Vectors, CPVs）。
以下为您梳理其核心的构造与提取机制：
一、 视觉保真向量（VFV）：解决“外部视觉”与“内部常识”的冲突
- 概念定位：捕获的是 external-vs-internal 的竞争偏好，即模型在面对外界看到的图像与内心固有的常识发生冲突时，究竟选择相信谁。
- 构造方法（设定 I：反事实图像构造）：
- CAS 构造了一组违反常识的反事实图像（Counterfactual Images）。
- 每个冲突样本的数学形式为：$\mathbf{(I_{cf}, q, y^+, y^-)}$。
- 结合图2的经典示例：
- $I_{cf}$（反事实图像）：一根被整条涂成蓝色的香蕉图片。
- $q$（提示词问题）：“What color is the banana in this image? Answer with one word.”（图像中的香蕉是什么颜色？用一个词回答。）
- $y^+$（忠于图像的正确答案）：
blue（蓝色）。
- $y^-$（依赖常识的幻觉答案）：
yellow（黄色，因为常识中香蕉是黄色的）。
- 提取原理：当这个样本输入给多模态大模型时，模型在 $y^+$（视觉）和 $y^-$（常识）之间的概率倾斜和最终选择，直接反映了它在“外部视觉上下文”与“内部参数化知识”之间的相对偏好。通过捕获模型在这一冲突下的隐层激活状态，即可提取出 视觉保真向量（Visual Fidelity Vector, VFV）。
二、 模态依赖向量（MRV）：解决“视觉上下文”与“文本上下文”的冲突
- 概念定位：捕获的是 cross-modal（跨模态）的竞争偏好，即当“眼睛看到的”和“耳朵听到的（前文提示）”发生矛盾时，模型更依赖哪种模态。
- 构造方法（设定 II：对称图文冲突对）：
- 首先选取一对权重相当但语义不同的候选答案 $(A, B)$，例如（apple vs. orange）。
- 为了彻底消除模型对某个具体词汇的固有偏好（即排除参数化知识的干扰），CAS 采用了极其巧妙的对称设计，将样本拆分为两个子集：
- 子集 $S_a$：${(I_A, q_B, y^+=A, y^-=B)}$。
- 示例：图像里是一棵结满苹果的树（$I_A$），但文本提示词（$q_B$）里故意误导它说：“之前的描述说树上长了橘子。请问这棵树上长了什么水果？” 此时，听眼睛的答案 $y^+$ 是
apple，顺从文本误导的答案 $y^-$ 是 orange。
- 子集 $S_b$：${(I_B, q_A, y^+=B, y^-=A)}$。
- 示例：把图文完全反过来。图像里是橘子树（$I_B$），文本提示词（$q_A$）里却睁眼说瞎话：“之前的描述说树上长了苹果。请问这棵树上长了什么水果？” 此时偏向视觉的答案变成了
orange，偏向文本的答案变成了 apple。
- 提取原理（为什么要对称设计？）：
- 在普通的文本生成中，不同 Token 在词表里的原生出现频率是不一样的，这会带来严重的词表频率噪声。
- 而在 CAS 的对称设计中，偏向视觉证据的答案和偏向文本先验的答案在 $S_a$ 与 $S_b$ 之间完全翻转。
- 当把这两部分数据联合起来让模型进行拟合时，与特定 token 频率相关的偏差在数学上会相互抵消。这确保了最终提取出的 模态依赖向量（Modality Reliance Vector, MRV） 捕获的是纯粹的跨模态偏好，而不会夹杂任何词表噪声。
如何提取CPVs
1. 为什么选择 MLP 层作为提取位置？
在线下提取偏好向量时，无论是针对“反事实图像（VFV）”还是“对称图文冲突（MRV）”的样本设定，它们都共享完全相同的提取流程 。 作者团队选择 Transformer 中的 MLP（Feed-Forward）层作为提取和注入的基点 。这背后的理论支撑在于：现有的前沿研究已经证实，MLP 层是大模型中存储事实知识的关键模块，并且对模型的最终输出起到了因果决定性作用 。
2. 定位关键 Token 位置（$t^\star$）
为了捕获模型在面对冲突（例如：视觉看到的与文本暗示的不一致）时的内心真实“纠结”状态，提取算法进行了精细的时间步定位：
- 模型首先自回归地生成答案 。
- 算法会定位到与视觉对齐的答案（$y^+$）或与常识/文本对齐的答案（$y^-$）在序列中最早出现的位置，并将其首个 Token 的位置标记为 $t^\star$ 。
3. 计算连续偏好信号（$pref$）
在定位到 $t^\star$ 之后，算法会回退一步，在前一个位置 $t^\star - 1$ 处读取模型预测下一个 Token 的概率对数（Logits），记为 $\ell$ 。接着，通过以下公式定义一个连续的偏好信号 $pref$ ：
$T^+$：代表与视觉上下文一致的答案 $y^+$ 的首 Token 候选集（包含各种大小写和空格变体） 。
$T^-$：代表与对立上下文（参数化知识或文本上下文）一致的答案 $y^-$ 的首 Token 候选集 。
物理意义：$pref$ 的数值正负和大小，直接反映了模型在这一步更偏向于信任视觉（正值）还是更偏向于信任先验/文本（负值） 。
$T^+$和$T^-$是随着数据集的构建，针对每一个样本提前定义好的候选 Token 集合。
当你设计好一个样本（比如：图片是绿草莓，问题是“什么颜色”）时，你就已经明确知道了这个样本的 $y^+$ 是“绿色”，$y^-$ 是“红色”。
只要Token 第一次掉进了 $T^+$ 或者 $T^-$ 的名单里，便可以开始计算pref
这一个 logits 向量里，包含了词表里所有 Token 的得分，它们绝对是在同一个 logits 向量里抽取的
4. 逐层岭回归（Ridge Regression）拟合
同样在 $t^\star - 1$ 这一位置，算法会导出每一层 $l$ 的 MLP 输出隐藏状态 $h_l$ 。为了把隐藏状态（高维空间向量）和模型的行为表现（偏好信号 $pref$）建立映射，作者采用了 $\ell_2$ 正则化的岭回归进行闭式求解 ：
在实际拟合前，为了保证高信噪比，算法会统一过滤掉行为信号过弱的样本（即 $|pref| [cite_start]< \epsilon$，数据过小说明模型本身没形成明显偏好） 。
最终，每层独立求解得到的权重向量 $w_l$ 就是我们需要的上下文偏好向量（CPV） ：
- 在设定 I（反事实图像）上拟合得到的权重，称为 VFV（视觉保真向量） 。
- 在设定 II（对称图文冲突对 $S_a \cup S_b$）上联合拟合得到的权重，称为 MRV（模态依赖向量） 。
在 MLP 的某一层，我们把海量样本的隐状态 $h$ 聚在一起。利用岭回归，我们求解出一个最优的方向向量 $w$（这个 $w$ 就是该层专属的 CPV）。它满足：任何一个样本的 $h$ 只要与 $w$ 做点积（即 $h$ 投影到 $w$ 方向上的长度），其结果都最接近该样本真实表现出的偏好行为特征 $pref$。
5. 层定位（Layer Localization）
最后，关于“到底在模型的哪一层进行干预最有效”的问题，作者通过逐层归因实验进行了定位 ：
最终选定区域：模型的中前部 MLP 层，即 L11–14 这一层带 。
原因分析：根据后续的层消融实验（表 4），中前层 L11–14 是唯一既能显著缓解幻觉、表现又十分稳定的干预窗口 ；如果选在更浅的层（如 L1–9）会导致模型严重的文本生成退化和失控重复，而选在更深的层（如 L16 之后）干预则基本失效，回到原生（Vanilla）模型的水平 。因此，CPV 的提取和线上推理时的残差注入，都固定在 L11–14 层完成 。
计算$pref$的含义是什么
一、 什么是“读取模型预测下一个 Token 的概率对数（Logits）”？
在自回归大模型中，当输入前一个位置 $t^\star - 1$ 的内容后，模型的最后一层（Linear 头）会给词表里的每一个词（Token）都打一个原始分数。
- 这个原始分数向量，就叫做 Logits（记为 $\ell$）。它还没有经过 Softmax 归一化，所以不是 0 到 1 之间的概率，而是有正有负的实数。
- 分数越高，代表模型内心越想在下一步吐出这个词。
假设模型的词表里有几万个词，在 $t^\star - 1$ 这一步，模型输出的 Logits 分数向量 $\ell$ 看起来可能长这样：
| 词表里的 Token (k) |
原始分数 Logit (ℓk) |
含义 |
"黄" |
12.5 |
视觉派（偏向 $y^+$） |
"Yellow" |
11.8 |
视觉派（偏向 $y^+$ 的英文变体） |
"红" |
14.2 |
偏见派（偏向 $y^-$） |
"的" |
3.1 |
酱油角色 |
"苹果" |
-5.2 |
无关词 |
二、 为什么有 $T^+$ 和 $T^-$，还要取 $\max$ ？
因为在实际的 Tokenizer（分词器）中，同一个意思的词可能会被切成不同的 Token。比如“黄色”，模型可能想说中文的"黄"，也可能想说英文的"Yellow"或者带空格的" Yellow"。
为了公平起见，作者设立了两个“阵营”：
- $T^+$（视觉阵营候选集）：所有能代表正确视觉答案开头的 Token，比如
["黄", "Yellow", "yellow"]。
- $T^-$（文本/常识偏见阵营候选集）：所有能代表常识错误答案开头的 Token，比如
["红", "Red", "red"]。
公式里的 $\max_{i \in T^+} \ell_i$ 的意思就是：从视觉阵营里，挑出一个大模型最想说的词（分数最高的那个）。
在上面的表格中，视觉阵营里 "黄" 的分数最高（12.5），所以 $\max_{i \in T^+} \ell_i = 12.5$。
同理，偏见阵营里 "红" 的分数最高（14.2），所以 $\max_{j \in T^-} \ell_j = 14.2$。
三、 这个 $pref$ 为什么这么算？它的物理意义是什么？
现在把两个阵营的“最强战力”拉出来作差，就得到了连续偏好信号 $pref$：
带入上面的例子：$pref = 12.5 - 14.2 = -1.7$。
这个减法做完后，得到的 $pref$ 数值具有非常完美的物理意义，能够定量反映大模型在这一时刻的内心偏向和纠结程度：
- 当 $pref > 0$ 时（正数）：说明视觉阵营胜出。分数值越大，说明模型越坚信自己眼睛看到的（视觉上下文），受常识或文本的干扰越小。
- 当 $pref < 0$ 时（负数）：说明偏见阵营胜出。分数值越负（比如 $-5.0$），说明模型越迷失在文本偏见或常识里，睁眼说瞎话。
- 当 $pref \approx 0$ 时：说明两派分数旗鼓相当，大模型此时极度纠结，不知道该信眼睛还是信常识。
总结
作者大费周章算这个 $pref$，就是为了把它当成标签（Label）。
在下一步的岭回归中，我们要寻找一个高维方向（即 CPV 向量 $w_l$），使得中间 MLP 层的隐藏状态 $h_l$ 在这个方向上的投影，正好等于这个 $pref$。
MRV的提取
一、 MRV 的数据集设计：对称图文冲突（Setup II）
为了提取出纯粹的跨模态偏好，而又不引入特定词汇的频次偏见，论文设计了成对出现的对称冲突数据集，包含两个子集 $S_a$ 和 $S_b$：
其中：
- $I_X$：包含物体 $X$ 的图像。
- $q_X$：故意引导、暗示物体是 $X$ 的文本提示词。
二、 用具体案例拆解这两个子集
我们假设物体 $A$ 是猫（Cat），物体 $B$ 是狗（Dog）。
1. 样本子集 $S_a$（图是猫，文本说是狗）
- 输入图像 ($I_A$)：一张猫的图片。
- 输入提示词 ($q_B$)：
"文本提示：图里有一只狗。请问图片里到底是什么动物？答：" （故意用文本误导模型）。
- 阵营划分：
- $T^+$（视觉阵营）=
["猫", "Cat"] （对应 $y^+=A$）
- $T^-$（文本阵营）=
["狗", "Dog"] （对应 $y^-=B$）
2. 对称样本子集 $S_b$（图是狗，文本说是猫）
- 输入图像 ($I_B$)：一张狗的图片。
- 输入提示词 ($q_A$)：
"文本提示：图里有一只猫。请问图片里到底是什么动物？答：" （同样用文本误导）。
- 阵营划分：
- $T^+$（视觉阵营）=
["狗", "Dog"] （对应 $y^+=B$）
- $T^-$（文本阵营）=
["猫", "Cat"] （对应 $y^-=A$）
三、 为什么要大费周章做“对称设计”？
大模型对不同的 Token 本身就存在先验的“偏心”。比如，有的模型在预训练时见过无数次“猫”，它天然就更喜欢吐出“猫”这个 Token。
- 如果我们只用 $S_a$（图猫文狗）去解回归，解出来的向量 $w$ 可能会混入“模型对‘猫’这个字本身的偏好”，导致提取出来的方向不够纯净。
- 采用了对称设计后，在 $S_a$ 中，“猫”是 $T^+$（视觉）；而在 $S_b$ 中，“猫”变成了 $T^-$（文本）。
这样一来，通过联合在这两个子集上运行提取流程，Token 自身的频率噪声会在数学上被相互抵消。 回归方程被迫只能去寻找那个与“视觉 vs 文本”博弈逻辑强相关的隐状态维度。
四、 MRV 的最终提取
当这批对称冲突的样本准备好之后，接下来的流水线动作就回归到了我们熟悉的节奏：
过模型算 pref：
每个样本进模型，在关键位置 $t^\star-1$ 抓取 logits：
- 在 $S_a$ 里：$pref = \max(\text{“猫”}) - \max(\text{“狗”})$
- 在 $S_b$ 里：$pref = \max(\text{“狗”}) - \max(\text{“猫”})$
存下隐状态 $h$：收集对应的中前层 MLP 隐藏状态。
岭回归拟合：
将所有样本的 $(h, pref)$ 倒进岭回归公式中一步解出权重。
最终解出来的这个 $w_{\text{MRV}}$，就是模态依赖向量。
岭回归时就是把 $S_a$ 和 $S_b$ 两个集合里所有的样本打包合并在一起（取并集 $S_a \cup S_b$），作为一整个训练集扔进岭回归里去求解 $w$。
在论文的数学表述里，这也正是用 $S_a \cup S_b$ 来表示的原因。
Signed Activation Steering (有符号激活导向)
什么是 Signed Activation Steering (有符号激活导向)？
完成了前期的线下提取（Offline Extraction）后，你手里已经握着两组核心的“指南针向量”：VFV（视觉保真向量）和 MRV（模态依赖向量）。
Signed Activation Steering (SAS) 正是 CAS 框架在线上推理（Inference-time）阶段发起总攻的核心机制。它的任务非常纯粹：在模型生成文本的单次前向传播中，直接在特定层（L11-14）把这两个向量作为残差“拍”进隐藏状态里，强行修正模型的认知偏差。
核心干预公式拆解
在推理生成第 $t$ 个 Token 时，对于目标干预层 $l \in {11, 12, 13, 14}$，SAS 通过以下公式对 MLP 的输出进行动态拦截和修改：
我们把这个公式里的每一个变量拆开来看，它们各司其职：
- $h_l^{(t)}$：原生隐状态。模型在当前生成步、当前层 MLP 原本吐出来的隐藏状态向量。
- $v{\text{vfv}}^{(l)}$ 和 $v{\text{mrv}}^{(l)}$：黄金方向轴。也就是前几步利用岭回归从该层提纯出来的 VFV 和 MRV 向量（即前面讨论的权重 $w_l$）。
- $\gamma(t)$：步长调节因子。一个与生成时间步或 Token 相关的动态系数，用来在生成过程中微调干预的节奏，防止过度干预导致文本质量塌陷。
- $\alpha$ 和 $\beta$：全场的灵魂——有符号的强度系数（Signed Strength Coefficients）。它们不仅决定了干预的力度，更决定了干预的方向（正负号）。
使用残差链接（注入）的巨大优势
论文之所以选择残差注入，而不是直接去替换（Replace）隐藏状态，原因有三：
- 保证模型的“保真度”：隐藏状态包含 4096 个维度，里面大部分空间都在维持模型的语法、标点、上下文连贯性。如果我们用完全覆盖（Overwrite）的方式改写 $h$，大模型瞬间就会变成傻子，话都说不利索。而残差连接是向量加法，它只是在高维空间里把当前状态“推偏”了一点点，保留了绝大部分原生的生成能力。
- 计算极其轻量（Zero Latency）：不需要做复杂的矩阵乘法或注意力重计算，只是在 GPU 里做一次一维的
Element-wise Add，对推理速度完全没有任何负面影响。
- 物理意义纯粹：因为我们在前一步提取 VFV 和 MRV 时，用的就是 MLP 层的输出隐藏状态。现在原路加回去，在数学上构成了完美的因果闭环。
为什么起名叫 “Signed”（有符号）？这背后有什么物理发现？
这背后承载了这篇论文最颠覆、最反直觉的核心发现。
在多模态大模型（MLLM）幻觉控制领域，以前的经典方法（如 VCD、MESA 等）都建立在一个朴素的假设上：模型之所以瞎编（幻觉），是因为它“视觉忽略”了，也就是看图看漏了。所以大家之前的做法全部是一味地“增强”视觉信号（类似于在残差流里永远用加号 +）。
但作者团队在对 LLaVA-1.5、Shikra、Qwen-VL、InstructBLIP 等多款主流模型进行系统性探针实验时，发现了明显的模型异质性（Heterogeneity）：
| 模型表现分类 |
模型的内部认知特点 |
对 α 或 β 的符号要求 |
| 视觉过度疏忽型 |
天生对图像视而不见，极度依赖历史文本或语言先验。 |
需要正向引导（$+$）：强行拉高视觉依赖。 |
| 视觉过度敏感型 |
容易过度解读视觉碎片中的非核心或不相关噪声，导致捕风捉影。 |
需要负向拉回（$-$）：适度压制视觉，反倒能缓解幻觉！ |
关键认知
每一个模型由于架构设计（如是否用了 Perceiver Resampler、Linear Projector）和指令微调数据的不同，其面对冲突时的偏好反应完全不同。有些模型需要“推一把”，有些模型需要“拉一把”。
这就是为什么系数 $\alpha$ 和 $\beta$ 必须是带正负号的（Signed）。通过在线下小样本验证集上快速搜索出每个模型专属的有效符号（Effective Sign），SAS 实现了“因材施教”，这也是它能显著击败传统一刀切（Always positive）方法的核心密码。
Tempered Position Prior (TPP调和位置先验)
在上一节谈到 Signed Activation Steering (SAS) 的公式时，我们留了一个精妙的伏笔——步长调节因子 $\gamma(t)$。
Tempered Position Prior (TPP，温和位置先验 / 调和位置先验) 正是决定这个 $\gamma(t)$ 应该如何演变的底层核心机制。它优雅地解决了大模型激活导向（Activation Steering）中一个致命的隐痛：“干预过度导致的语言崩塌”。
为了让你轻松彻底地理解 TPP，我们从大模型的致命弱点聊起，看看它是如何给干预机制戴上“紧箍咒”的。
一、 为什么需要 TPP？（原生的位置先验陷阱）
自回归大模型（LLM/MLLM）在生成文本时，对Token 的生成位置（Position）有着极度强烈的依赖。这就是原生的“位置先验”。
在做表征干预时，如果我们一刀切地在每一个位置 $t$ 都加上相同强度的偏好向量（即 $\gamma(t) = 1$ 恒定不变），会引发极其严重的灾难：
- 表征漂移（Representation Drift）：MLP 层的残差流就像一条平稳流淌的河。如果你在每一个时间步都往里扔一块一模一样的石头（注入向量），整条河的生态会彻底失衡。隐状态会被强行推离模型原本的合理流形（Manifold）。
- 文本退化（Text Degeneration）：在实验中表现为模型突然变成“复读机”（比如无限重复“黄色黄色黄色……”），或者语法彻底混乱，逻辑直接崩塌。
二、 TPP 的核心逻辑：什么是“Tempered（温和/调和）”？
TPP 的核心思想是：干预的强度，必须随着生成位置 $t$ 与关键冲突位置 $t^\star$ 的距离，进行“温和的衰减（Tempering）”。
它给干预强度设置了一个动态的、基于位置先验的保护罩。最常见的 TPP 表现形式（即 $\gamma(t)$ 的计算方式）通常遵循指数衰减或者阶梯窗口衰减。
以最经典的指数衰减为例：
这里面的设计极其讲究：
- 关键点前（$t < t^\star - 1$）：$\gamma(t) = 0$。模型在念前面的引言（比如“图片里的西瓜瓤是”）时，完全不进行任何干预，让模型保持 100% 的原生语言流畅度。
- 爆发点（$t = t^\star - 1$）：干预强度达到巅峰（$\gamma = 1$）。在模型即将吐出关键颜色/物体字眼的前一刹那，全力一击，强行把模型的思维拉回视觉通路。
- 调和衰减期（$t > t^\star - 1$）：随着模型不断往后生成 Token，$t$ 越来越大，$\gamma(t)$ 呈指数级迅速衰减趋近于 0（$\tau$ 是控制衰减快慢的超参数）。
流程图
这张图的左侧展示了如何从模型内部“提炼”出我们需要的控制工具。
- 步骤 A：构造两类上下文冲突（Two Setups）
- 图里会画出两条独立的数据流，分别对应两种不同的“挖坑”设定：
- 设定 I（反事实图像）：喂入类似“蓝色香蕉”的图，诱导模型在“视觉”与“参数化常识知识”之间打架，用于提炼 VFV（视觉保真向量，$v_{vfv}$）。
- 设定 II（对称图文冲突对）：喂入图猫文狗、图狗文猫的成对数据，诱导模型在“视觉输入”与“提示词误导文本”之间打架，用于提炼 MRV（模态依赖向量，$v_{mrv}$）。
- 步骤 B：在临界点实施数据抓取（Data Probing）
- 图上会标识出一个关键点：当模型即将输出核心词（位置 $t^\star$）时，算法会回退一步（在位置 $t^\star - 1$）去拦截两样东西：
- 最后一层输出全词表的分数差值：即由两派最强 Token 分数作差得到的行为标签 $pref$。
- 目标干预层 $l$ 的 MLP 输出的隐藏状态向量 $h_l$。
- 步骤 C：逐层岭回归（Layer-wise Ridge Regression）
- 图的中间会画一个回归拟合的图标，代表把收集到的海量对齐数据 $(h_l, pref)$ 倒进 $\ell_2$ 正则化的线性方程里去求解。
- 最终产物：解出来的权重矩阵，就是图里画的两个专属一维黄金方向向量：$v{\text{vfv}}^{(l)}$ 和 $v{\text{mrv}}^{(l)}$。
2. 右半部分：在线推理中的激活导向（Online Inference Strategy）
这张图的右侧展示了当模型在实际应用（如回答用户的开放式提问）时，我们如何动态拦截并修复幻觉。
- 步骤 A：单阶段正常前向传播（Single-pass Forward）
- 与对比解码（VCD 等方法）需要跑两遍前向传播（一遍正常，一遍变焦/模糊图）不同，右侧图展示的是标准的、唯一的自回归生成路径。用户输入一张新图和 Prompt，模型正常向前计算。
- 步骤 B：中前层 MLP 拦截与插桩（MLP Hooking）
- 右图会特意放大模型的 L11–L14 这一层带。当残差流传导到这四个特定的中前层 MLP 输出端时，SAS（有符号激活导向）机制像微创手术一样横插一脚，对原生的隐状态 $h_l^{(t)}$ 施加一个加性残差（Additive Residual）。
- 步骤 C：动态残差公式的在线组装
- 图上会标出注入的完整项：$\gamma(t) \cdot (\alpha v{\text{vfv}}^{(l)} + \beta v{\text{mrv}}^{(l)})$。
- $\alpha, \beta$（有符号强度调节）：根据具体模型的“性格”（是视而不见，还是捕风捉影），赋予正号或负号，决定是把模型往视觉方向推，还是从视觉噪声里拉回来。
- $\gamma(t)$（TPP 位置门控）：它像一个动态阀门。在图上通常会用一个由高到低的衰减曲线来表达。在即将吐出关键词的那一瞬间，阀门全开（$\gamma=1$）；随着文本往后生成，阀门快速关闭趋近于0（$\gamma \to 0$），防止污染后面正常的语法。
实验设置 (Experimental Setup)
1. 评估模型 (Models) —— 覆盖四大主流架构
为了证明 CAS 框架具有跨架构的普适性，实验并没有局限于单一模型，而是挑选了四个最具代表性的开源多模态大模型（MLLM） ：
LLaVA-1.5
Shikra
Qwen-VL
InstructBLIP
学术亮点：这四个模型在跨模态融合设计（如线性投影 Linear Projector、交叉注意力 Cross-Attention、Perceiver 等）上存在显著差异 。CAS 能在这些迥异的架构上同时生效，有力证明了其在模型隐藏空间实施“表征微创手术”的通用性 。
2. 评估基准 (Benchmarks) —— 自由生成与是非判别双轨制
评测任务全面覆盖了生成式（Generative）和判别式（Discriminative）两大家族，不给任何作弊手段留死角 ：
- 生成式任务 (Generative Task)：
- CHAIR：在 500 张 COCO 图像上运行详细描述任务，报告 $CHAIR_S$（句级幻觉率）、$CHAIR_I$（词级幻觉率）和 F1 分数 。
- AMBER (生成式划分)：包含 1,004 张图像，报告 Hal（整体幻觉率）、CHAIR、Cog 和 Cover（物体覆盖率） 。
- 判别式任务 (Discriminative Task)：
- POPE：包含 Random（随机）、Popular（高频）、Adversarial（对抗）三个子集，每个子集包含 3,000 个问答对 。最终报告 Acc（准确率）和 F1 分数 。
3. 对比基线 (Baselines) —— 八大强劲对手大围剿
实验将原生模型（Vanilla）与近年来发表在顶会上的 8 种主流的、无需训练（Training-free）的抗幻觉方法进行了全面横向对比，按发表时间排序 ：
DoLa (2024)
VCD (2024)
OPERA (2024)
PAI (2024)
Code (2024)
DeCo (2025)
AttnReal (2025)
SSL (2025)
4. 引入新文本质量指标 —— 堵住“复读机”漏洞
作者在实验中发现了一个行业痛点：部分基线方法（如 DoLa、OPERA、PAI 等）虽然降低了幻觉，但代价是破坏了语言模型的能力，导致模型在推理时陷入严重的重复生成（复读机退化） 。
- 更糟糕的是，传统的 CHAIR 评估由于不进行去重计数，重复喷出正确的物体反而会稀释幻觉率（人为刷低幻觉指标） 。
- 为此，作者额外引入了 $Rep$（n-gram 重复率） 指标 。在最终的结果表里，凡是导致模型重复退化的数据，都会被红色标出 。
5. CAS 的专属硬编码配置 (CAS Configuration)
在线上干预时，CAS 的策略保持了高度的简洁和克制 ：
- 干预位置：固定为模型的中前层，即 L11–L14 层的 MLP 输出 。
- 干预方式：执行单次有符号残差注入（即利用前面通过岭回归解出的 $\alpha$ 和 $\beta$ 有符号系数进行向量加法） 。
6. 解码策略与硬件环境 (Decoding & Hardware)
为了确保学术评测的可复现性和严谨性，实验排除了随机采样（Sampling）带来的方差影响 ：
- 解码策略：所有方法一律使用 贪心解码 (Greedy Decoding) 。
- 长度限制：CHAIR / AMBER 任务设置
max_new_tokens = 512（长文本生成）；POPE 任务设置 max_new_tokens = 64（短文本是非问答） 。
- 算力消耗：所有实验均在单张 NVIDIA RTX 3090 上完成，充分体现了无需训练方法的低算力成本优势 。
贪心解码（Greedy Decoding）
一、 核心逻辑与工作原理
在大模型生成文本时，它是逐个 Token（字/词碎片）自回归生成的。在每一个时间步，模型会为词表里的所有 Token 算出对应的概率分布（即我们之前提到的 Logits） 。
贪心解码的规则非常简单、粗暴：它在每一步只挑选概率最高（或者得分最高）的那一个 Token，绝对不考虑其他任何人选。
具体的数学表达：
举个例子（模型正在回答“草莓是什么颜色”）：
在预测下一个字时，词表张榜：
"红"：概率 60%"绿"：概率 15%"粉"：概率 10%- ……
如果是贪心解码，模型会毫不犹豫地直接选择 "红"。因为它的概率最大。选完 "红" 之后，再把 "红" 拼进输入里，去预测再下一个字，以此类推。
二、 贪心解码在论文中的关键作用
在你上传的《TSAI：面向多模态大语言模型幻觉缓解的时序-语义注意力干预》论文中，作者在 4.1 实验设置（Experimental Setup） 里特别强调了他们统一采用贪心解码作为所有模型和方法的基准，这背后有非常严谨的学术考量：
隔离随机干扰（确保公平）：普通的文本生成往往会加入随机采样（如 Nucleus Sampling / Top-p），这会导致模型每次运行吐出的词都不一样。论文指出，采用贪心解码可以“隔离随机采样算法引入的性能差异，确保严格公平的比较” 。
提供最稳定的基线（Baseline）：论文强调，对于评估抗幻觉能力的确定性评测（如是非题 POPE 或描述题 CHAIR），“贪心解码通常能产生最稳定且具有竞争力的基线性能” 。所以表 1、表 3、表 4 中，最基础的对照组（Vanilla）数据就是原生模型在贪心解码下的表现 。
三、 贪心解码的优缺点横向对比
为了让你的概念体系更完整，我们可以把它与束搜索（Beam Search）、核采样（Nucleus / Top-p Sampling）进行横向对比：
| 解码策略 |
核心机制 |
优点 |
缺点 / 在抗幻觉中的表现 |
| 贪心解码 (Greedy) |
每一步无脑选 $\max$。 |
速度极快、100% 可复现、结果极其稳定。 |
缺乏创造力。在长文本生成中，极其容易陷入“语言退化”（表现为变成复读机，不断循环一句话） 。 |
| 束搜索 (Beam Search) |
每一步保留 Top-k 个最优路径，全局综合评分。 |
逻辑严谨、生成文本质量高。 |
容易产生“过度信任（Over-Trust）”，即模型太相信前面自己编过的话，从而容易导致幻觉滚雪球 。 |
| 核采样 (Top-p / Nucleus) |
在累计概率前 p% 的候选词里随机抽。 |
文本丰富、拟人度高。 |
带有随机性，不方便做严谨的抗幻觉算法效能消融实验。 |
Generative Hallucination（生成式幻觉评估）
Table 1：CHAIR 评测结果（物体幻觉的硬核较量）
Table 1 通常是整篇论文的“主战场”，它展示了 Vanilla（原生模型）、CAS 框架以及 8 种顶会 Baseline 在 LLaVA-1.5、Shikra、Qwen-VL 和 InstructBLIP 这四大模型上的全面横向对比。
1. 核心指标解读
在这个表里，你会看到以下几个核心列：
- $CHAIR_S$（句级幻觉率） 与 $CHAIR_I$（词级幻觉率）：这两个指标越低越好。CAS 的核心卖点就是在这两项上拿到了显著的最低值（Bold 粗体标注）。
- $Rep$（n-gram 重复率）：这是作者为了打假而引入的创新指标，越低越好。它统计了模型生成文本中出现“复读机”现象的严重程度。
2. 揭露 Baseline 的“作弊”现象（学术亮点）
在 Table 1 中，你会注意到许多传统方法（如 DoLa、OPERA、PAI 等）在某些模型上的 $CHAIR$ 指标看似很低，但它们的 $Rep$（重复率）数值却高得离谱，在表中被作者用红色（Red）刺眼地标出。
- 背后的黑幕：因为 CHAIR 的计算公式是 $\frac{\text{幻觉词数}}{\text{总词数}}$。一些对比方法因为破坏了语言模型的能力，导致模型在推理时不断重复一句话（例如：“There is a cup, a cup, a cup…”）。由于“cup”是图里真实存在的正确物体，这种无限复读正确词汇的行为人为地扩大了分母，从而恶意稀释了幻觉率。
- CAS 的降维打击：CAS 在大幅降低 $CHAIR_S$ 和 $CHAIR_I$ 的同时，保持了极低的 $Rep$（与 Vanilla 原生模型几乎一致）。这有力地证明了 TPP（温和位置先验） 机制的成功——干预向量在关键 Token 处精准纠偏后迅速退场，绝不污染后面的正常文本生成。
Table 2：AMBER-G（生成式幻觉）评测结果分析
在这一部分中，评测完全聚焦于长文本自由描述场景。大模型在没有是非题“喂饭”的情况下，自己主动看图说话。Table 2 展现的核心价值在于：CAS 在“盲考”状态下对复杂生成任务的统治力。
1. 核心指标矩阵
在 Table 2 中，你需要重点记录这三个核心指标的黄金三角关系：
- $Hal \downarrow$（整体句级幻觉率）：评估生成文本中，包含存在、属性、关系等各类综合幻觉的句子比例。数值越低，说明整体越诚实。
- $CHAIR_S / CHAIR_I \downarrow$（物体级幻觉）：精准定位到名词层面的捏造比例。
- $Cover \uparrow$（物体覆盖率 / 召回率）：全场含金量最高的指标。它统计了大模型到底把图片里真正存在的物体认出来了多少。
2. 为什么 AMBER-G 的数据能对 Baseline 形成降维打击？
在自由生成任务中，最容易出现的两个学术大坑是“因噎废食”和“语言塌陷”。Table 2 的数据直接自证了 CAS 是如何完美避开这两个坑的：
打破“说得越少，错得越少”的作弊死循环：
很多对比方法（比如传统对比解码）为了追求极低的幻觉率（$Hal$ 或 $CHAIR$），干预力度过大，直接导致模型变得极度保守、不敢说话。反映在数据上，就是它们的 $Cover$（物体覆盖率）会出现断崖式下跌。
- CAS 的优势：CAS 在把 $Hal$ 和 $CHAIR$ 砸到最低的同时，$Cover$ 指标依然能够保持高位，甚至超越 Vanilla（原生模型）。这证明“有符号激活导向”不是简单地给模型贴封条，而是真正提升了模型对底层视觉特征的有效提取和正面感知。
证明 TPP（温和位置先验）的不可或缺性：
自由生成长文本对隐空间的扰动极其敏感。CAS 能够完美跑通 AMBER-G 的长文本 Captioning 任务，并在综合得分上拿到 SOTA，在图表层面上直接宣告了 TPP 衰减机制的胜利——干预向量在 $t^\star - 1$ 位置精准爆发，修正了关键物体的倾向后优雅退场，将后半句的语法和叙事主导权还给语言模型，从而保证了长文本的顺畅。
判别式幻觉（Discriminative Hallucination）
Table 3 的纵纵横横：结构与核心指标
在论文的 Table 3 中，数据矩阵通常按照以下维度展开：
- 纵轴（Rows）：四大主流多模态模型（LLaVA-1.5、Shikra 等）作为大组，每个大组内横向对比 Vanilla（原生模型）以及各大主流 Baseline，最后以 CAS（Our） 收尾。
- 横轴（Columns）：划分出 POPE 的三个经典子集：Random（随机）、Popular（高频）、Adversarial（对抗）。每个子集下报告两个核心指标：
- Accuracy (Acc，准确率 $\uparrow$)：整体答对的比例。
- F1-score ($\uparrow$)：平衡了精确率和召回率的综合指标（全场最重要的评判依据）。
Per-model response to VFV and MRV
这一部分聚焦于 CAS 框架中最核心的实证发现：不同模型对“视觉保真向量（VFV）”和“模态依赖向量（MRV）”的异质性反应（Per-model response）。
核心发现：模型异质性（Model Heterogeneity）与符号搜索
在表征工程（Representation Engineering）中，最理想的状态是“一个黄金向量包治百病”。但 CAS 论文在这里揭示了一个残酷的现实：即使提取流程完全一样，同一个偏好向量对不同模型而言，其最佳干预方向（正号 $+$ 还是负号 $-$）和干预力度（模长大小）是完全相反且割裂的。
作者将这种现象称为模型异质性。它直接决定了为什么线上注入残差时，强度系数 $\alpha$ 和 $\beta$ 必须是有符号的（Signed）。
Figure 3 在论文中通常是一组折线图（Line Charts）或热力图（Heatmaps）。它展示了当干预系数 $\alpha$（控制 VFV）和 $\beta$（控制 MRV）在区间（例如 $[-3.0, +3.0]$）内连续滑动时，各大模型在抗幻觉指标（如 POPE 准确率、CHAIR 幻觉率）上的动态性能表现曲线。
1. 性能曲线的“单峰特性”与零点跨越
- 如果你观察图 3 的曲线，会发现绝大多数模型的性能并不会随着干预强度的增大而无限变好，而是呈现出完美的单峰（Single-peak）结构。
- 关键在于，这个性能巅峰（Peak）落在零点（Vanilla 原生模型）的左边还是右边。
- 如果巅峰在右边（正值区间），代表该模型属于“视觉疏忽型”，越补正向视觉信号越聪明。
- 如果巅峰在左边（负值区间），代表该模型属于“捕风捉影型”，加了负号（压制视觉噪声）反而能刷新 Acc 分数。
2. 悬崖效应（Cliff Effect）：过度干预的语言崩塌
- 无论模型的最佳符号是正还是负，一旦干预强度（绝对值）越过了那个最佳的“甜点区（Sweet Spot）”，图 3 中的性能曲线会展现出恐怖的断崖式下跌。
- 学术本质：这是因为过大的残差向量注入直接干扰了语言模型（LLM）底层基座的指令遵循与语法概率流，导致隐状态彻底偏离了合理的表征流形（Representation Manifold），模型开始在生成端胡言乱语。
Table 6 & Table 7 深度解码：超参数图谱与稳健性验证
如果说 Figure 3 是连续的宏观大势，那么被放在附录或实验深入分析部分的 Table 6 和 Table 7 则是 CAS 团队留下的硬核工程账本。它们通常分别记录了最优符号与强度的全局搜索结果，以及跨任务/跨层干预的消融边界。
Layer Analysis层消融实验
为了验证干预层的选择，我们将相同的CPV置于LLaVA-CHAIR的不同四层窗口中。为了放大窗口间的差异，我们使用了更强的固定强度（MRV β=+2，VFV α=−2）。如表4所示，两种CPV在不同窗口中表现出一致的模式：在我们扫描的窗口中，中早期层L11–14是唯一有效且稳定的层；从L16开始，效果恢复到原始水平，基本为零；在浅层L1–4和L6–9，MRV和VFV都会引发严重的退化并导致失控的重复。因此，我们在所有实验中将干预固定在L11–14层。
Conclusion和Limitations
一、 结论部分 (Conclusion)
结论部分对 CAS 框架的成效给出了最终定性，核心成果可以概括为以下三点：
- 开创了表征层面的“因材施教”范式：论文成功打破了传统“一刀切增强视觉”的思维定势，首次证明了 MLLM 内部隐空间存在模型异质性。通过首创的有符号激活导向（SAS），实现了对不同缺陷型模型（视觉疏忽型 vs 视觉敏感型）的精准对症下药。
- 抗幻觉与流畅度的帕累托最优（Pareto-optimal）：在三大硬核基准（CHAIR、POPE、AMBER-G）上，CAS 在大幅刷新最低幻觉率的同时，完美保护了模型的生成流畅度（$Rep \downarrow$）与细节丰富度（$Cover \uparrow$）。这宣告了 Tempered Position Prior (TPP) 位置门控机制的全面胜利。
- 兼顾极高部署性价比：作为一种无需训练（Training-free）的方法，CAS 仅在单次前向传播中进行极其轻量级的加性残差操作，不引入任何额外的解码延迟（Zero extra decoding latency），彻底解决了对比解码（VCD、CODE 等）推理速度翻倍的工程痛点。
二、 局限性部分 (Limitations)
作者非常坦诚地分析了 CAS 框架在现阶段的局限性与改进空间，这也是未来开展研究生工作或后续大创项目的绝佳发力点：
1. 严重依赖离线网格搜索（Hyperparameter Dependency）
虽然 CAS 推理时是零开销，但在正式上线前，它必须依赖一个小规模的冲突验证集，通过网格搜索（Grid Search）去试出该模型专属的最佳符号和强度系数（$\alpha$ 和 $\beta$）。
- 痛点：这种“调参”过程是离线的（Offline）。如果换了一个全新的、完全没见过的微调模型，用户无法盲打注入残差，必须先跑一次快速的离线校准。
2. 幻觉防御的范畴边界（Scope Limitations）
CAS 提取的黄金方向向量（VFV 和 MRV），其核心对齐逻辑建立在“物体存在性”和“模态冲突”上。
- 痛点：多模态幻觉的成因极度复杂。如果模型发生的不是物体层面的幻觉，而是高级的多步跨模态推理错误（Reasoning Error）、复杂的空间几何倒错，或者是在长视频理解（Long-form Video）中产生的时序颠倒，现有的 VFV 和 MRV 向量可能无法提供足够强大的因果纠偏能力。
3. 静态语义轴与动态生成上下文的脱节（Static CPV Vector）
岭回归解出来的 CPV（上下文偏好向量）在训练集拟合完成后，其高维方向就完全固定了。
- 痛点：在实际生成长文本时，虽然有 TPP 门控在时序上让它衰减，但这个向量本身并不会根据模型当前吐出的具体词汇语境发生动态的形状自适应变化。它主管的是大方向上的“认知站队”（信眼睛还是信常识），缺乏例级自适应（Instance-specific Adaptive Steering）的细粒度微调。
4. 超大尺度模型（Ultra-Large Models）的层定位成本
实验虽然在 7B/8B 尺度上的四大主流架构上表现得极为稳健（最优干预层均收敛在 L11–L14），但如果未来基座模型扩展到 14B、32B 甚至 70B 时，知识存储的中枢层带必然会发生漂移。
- 痛点：这意味着在面对超大模型时，研究人员必须重新做一遍 4.5 章节那套高成本的“层消融实验（Layer Analysis）”，才能重新定位到新模型的“黄金干预窗口”。
附录
超参数设置
推理延迟
我们在 LLaVA-1.5 上测量了每种方法的每 token 解码延迟，结果如表 5 所示。CAS 在单次前向传播中仅对四个中早期层的 MLP 输出进行加性残差操作，没有额外的前向传播，也没有对比解码。因此，其每 token 延迟接近于 vanilla 方法，且远低于双前向方法（PAI / VCD / CODE）和多步搜索方法（OPERA）。
问题
怎么想到提取这两个向量的
为什么作用在mlp层，是类比lora吗
TPP真的巧妙
训练干预模型？
