論文の概要: MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads

• arxiv url: http://arxiv.org/abs/2609.09206v1
• Date: Sat, 05 Sep 2026 18:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.734555
• Title: MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads
• Title（参考訳）: MLLMはシナジーヘッドにおける情報分布の低下時に幻覚する
• Abstract要約: MLLM(Multimodal Large Language Models)はしばしば幻覚に苦しむため、信頼性の高い実用的な応用を妨げる。 幻覚を識別・緩和するためのHEAL, Head-lEvel Information Disentment, CaLibrationを提案する。
• 参考スコア（独自算出の注目度）: 16.959361439314616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) often struggle with hallucinations, thus hindering their reliable practical applications. Existing attention-based mitigation methods mainly rely on indirect signals (e.g., attention weights) that fail to accurately reflect the actual information shift underlying hallucination generation. In this paper, we propose HEAL, Head-lEvel information disentAnglement and caLibration for identifying and mitigating hallucinations. HEAL first employs causal noise intervention on multi-head outputs to filter out causally redundant heads. Subsequently, it disentangles information distribution within the remaining heads via the counterfactual Difference-in-Differences, categorizing heads into four types. Through analysis, we observe: hallucinations happen when information distribution drifts away from a healthy equilibrium in synergy heads, not strongly correlated with the quantity or strength of modality-specific heads. Motivated by this insight, HEAL injects dynamic information calibration factors into the value vectors of synergy heads, and actively regulates visual-language dependencies, steering the output distribution towards factual evidence. Extensive experiments demonstrate that HEAL effectively reduces hallucinations across multiple MLLMs, offering a simple and interpretable pathway to enhance model trustworthiness.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)はしばしば幻覚に苦しむため、信頼性の高い実用的な応用を妨げる。 既存の注意に基づく緩和法は、主に間接的な信号(例えば、注意重み)に依存しており、幻覚生成の根底にある実際の情報シフトを正確に反映できない。 本稿では,幻覚を識別・緩和するためのHEAL, Head-lEvel information disentAnglement and caLibrationを提案する。 HEALはまず、因果的冗長なヘッドをフィルタリングするために、マルチヘッド出力に因果的ノイズ干渉を用いる。 その後、他のヘッド内の情報分布を偽の差分差分法で切り離し、ヘッドを4つのタイプに分類する。 情報分布が相乗的頭部の健全な平衡から逸脱した時に発生する幻覚は、モーダリティ特異的頭部の量や強さと強く相関しない。 この知見に触発されて、HEALはシナジーヘッドの値ベクトルに動的情報キャリブレーション因子を注入し、視覚言語依存を積極的に制御し、実際の証拠に向けて出力分布を操縦する。 大規模な実験により、HEALは複数のMLLMの幻覚を効果的に低減し、モデルの信頼性を高めるためのシンプルで解釈可能な経路を提供することが示された。

関連論文リスト

• Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
  Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。 統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。 詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
  論文  参考訳（メタデータ） (2026-07-31T13:33:51Z)
• Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination [19.688878240689423]
  モダリティ・コンフリクト・幻覚(Modality-Conflict Hallucination)は、多様大言語モデルが矛盾する視覚的証拠よりも誤ったテキスト的前提を優先する場合に発生する。 本研究は,幻覚駆動型頭部と幻覚抵抗型頭部の2つのグループを同定した。 そこで本研究では,コンフリクトが検出された場合にのみ,因果的に同定された幻覚を抑える条件付き介入であるMACIを提案する。
  論文  参考訳（メタデータ） (2026-05-19T01:47:53Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs [20.59139155257836]
  データ駆動および推論駆動コンポーネントに幻覚リスクを分解する統合理論フレームワークを導入する。 本稿では,NTKをベースとしたHaluGuardについて紹介する。このスコアはNTKのジオメトリとキャプチャー表現を利用して,データ駆動および推論駆動の幻覚を共同で同定する。
  論文  参考訳（メタデータ） (2026-01-26T18:23:09Z)
• Review of Hallucination Understanding in Large Language and Vision Models [65.29139004945712]
  本稿では,多様なアプリケーションにまたがる画像とテキストの幻覚を特徴付けるフレームワークを提案する。 我々の調査によると、幻覚はデータ分布や遺伝バイアスの予測可能なパターンから生じることが多い。 この調査は、現実世界の生成AIシステムにおける幻覚に対するより堅牢で効果的なソリューションを開発する基盤を提供する。
  論文  参考訳（メタデータ） (2025-09-26T09:23:08Z)
• Exploring Causal Effect of Social Bias on Faithfulness Hallucinations in Large Language Models [50.18087419133284]
  大規模言語モデル(LLM)は様々なタスクで顕著な成功を収めたが、忠実な幻覚に弱いままである。 社会的偏見がこれらの幻覚に寄与するかどうかを考察する。 重要な課題は、バイアス状態と幻覚の間の因果関係の分離を複雑化する、コンテキスト内の共同創設者を制御することである。
  論文  参考訳（メタデータ） (2025-08-11T08:34:28Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。