論文の概要: Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination

• arxiv url: http://arxiv.org/abs/2605.19250v1
• Date: Tue, 19 May 2026 01:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.064761
• Title: Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination
• Title（参考訳）: モダリティ衝突幻覚における注意頭不均衡の因果性
• Authors: Jinrui Jiang, Zhangtai Wu, Zhen Wu, Xinyu Dai,
• Abstract要約: モダリティ・コンフリクト・幻覚(Modality-Conflict Hallucination)は、多様大言語モデルが矛盾する視覚的証拠よりも誤ったテキスト的前提を優先する場合に発生する。 本研究は,幻覚駆動型頭部と幻覚抵抗型頭部の2つのグループを同定した。 そこで本研究では,コンフリクトが検出された場合にのみ,因果的に同定された幻覚を抑える条件付き介入であるMACIを提案する。
• 参考スコア（独自算出の注目度）: 19.688878240689423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modality-conflict hallucination occurs when multimodal large language models (MLLMs) prioritize erroneous textual premises over contradictory visual evidence. To understand why visual evidence fails to prevail during generation, we take a mechanistic perspective and examine which internal components drive or resist this failure. We perform head-level causal analysis using path patching across five open-source MLLMs and identify two groups of attention heads with opposing causal roles: hallucination-driving heads and hallucination-resisting heads. We find a consistent asymmetry: driving effects are more broadly distributed and carry greater aggregate weight, whereas resisting effects concentrate in a small number of high-importance heads. Ablation experiments further confirm that these groups exert opposing effects during generation: distributed driving influence and localized resistance together form an imbalanced routing structure that biases generation toward the erroneous premise. Motivated by this finding, we propose MACI (Modality-conflict-Aware Causal Intervention), a conditional intervention that suppresses causally identified hallucination-driving heads only when conflict is detected. Across five MLLMs, MACI achieves the largest hallucination reduction among compared inference-time baselines on the MMMC benchmark with a favorable hallucination-accuracy trade-off, and transfers zero-shot to the SCI-SemanticConflict test.
• Abstract（参考訳）: モダリティ・コンフリクト・幻覚(Modality-Conflict Hallucination)は、マルチモーダルな大規模言語モデル(MLLM)が矛盾する視覚的証拠よりも誤ったテキストの前提を優先する場合に発生する。 生成時に視覚的エビデンスが普及しない理由を理解するために、メカニスティックな視点で、どの内部コンポーネントがこの失敗を駆動するか、抵抗するかを調べます。 我々は,5つのオープンソースMLLMにまたがる経路パッチを用いた頭部因果解析を行い,幻覚駆動ヘッドと幻覚抵抗ヘッドの2つのグループに着目した。 駆動効果はより広く分布し、凝集重量が大きいのに対して、抵抗効果は少数の高感度ヘッドに集中している。 アブレーション実験は、これらの群が生成中に反抗する効果を示すことをさらに確認する: 分散駆動の影響と局所化抵抗は、誤った前提に向けて生成をバイアスする不均衡なルーティング構造を形成する。 本研究の目的は, 衝突が検出された場合にのみ, 因果的に同定された幻覚を抑える条件付き介入であるMACI(Modality-Conflict-Aware Causal Intervention)を提案することである。 5つのMLLM全体で、MACIはMMMCベンチマークで比較した推定時間ベースラインの中で最大の幻覚減少を実現し、良好な幻覚精度トレードオフを行い、ゼロショットをSCI-SemanticConflictテストに転送する。

関連論文リスト

• Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models [18.55564482332065]
  拡散モデルは構造的幻覚を引き起こす傾向がある。 モデル誘導多様体上の不安定性として幻覚を扱う補的視点を提案する。 このような不安定性に基づく幻覚フィルタは,最近提案された時間的フィルタの性能と一致するか,あるいは超えるかを示す。
  論文  参考訳（メタデータ） (2026-05-06T15:22:52Z)
• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• Exploring Causal Effect of Social Bias on Faithfulness Hallucinations in Large Language Models [50.18087419133284]
  大規模言語モデル(LLM)は様々なタスクで顕著な成功を収めたが、忠実な幻覚に弱いままである。 社会的偏見がこれらの幻覚に寄与するかどうかを考察する。 重要な課題は、バイアス状態と幻覚の間の因果関係の分離を複雑化する、コンテキスト内の共同創設者を制御することである。
  論文  参考訳（メタデータ） (2025-08-11T08:34:28Z)
• Robust Multimodal Large Language Models Against Modality Conflict [94.12341487880465]
  マルチモーダル大言語モデル(MLLM)は、現実のシナリオにおいて幻覚を起こす傾向がある。 我々は、MLLMをジレンマに配置し、幻覚に直接導く異なるモダリティからの入力における固有の矛盾について研究する。 モダリティ衝突による幻覚を緩和する3つの方法が提案されている。
  論文  参考訳（メタデータ） (2025-07-09T11:18:38Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Shadows in the Attention: Contextual Perturbation and Representation Drift in the Dynamics of Hallucination in LLMs [6.190663515080656]
  本研究は,幻覚の発生と文脈注入による内的状態のドリフトを関連づけた最初の系統的研究である。 TruthfulQAを用いて、1問16ラウンドの"titration"トラックを2つ構築する。 我々は,コサイン,エントロピー,JS,スピアマンの隠れ状態と注意マップのドリフトを通じて,三重対角検出器と隠蔽ダイナミクスを用いて,過剰幻覚率を追跡する。
  論文  参考訳（メタデータ） (2025-05-22T16:50:58Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。