論文の概要: ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs
- arxiv url: http://arxiv.org/abs/2606.31054v1
- Date: Tue, 30 Jun 2026 02:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.045417
- Title: ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs
- Title（参考訳）: ADAPT: 忠実MLLMのための優先調整による注意ダイナミクスアライメント
- Abstract要約: マルチモーダル大言語モデル(MLLM)は幻覚によって著しく妨げられている。
幻覚の内的署名として,テキスト・ツー・イメージ・クロス・アテンションの段階的劣化を同定する。
本稿では,テキスト・ツー・イメージ・クロスアテンション・ダイナミクスに直接介入するアテンションベースのフレームワークであるADAPTを提案する。
- 参考スコア（独自算出の注目度）: 32.51643420504522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) are critically hampered by hallucination, generating content inconsistent with the provided image. In this paper, we identify an internal signature of hallucination: progressive degradation of text-to-image cross-attention during generation, leading to specific failure patterns like unfocused or biased attention. Existing mitigation strategies are largely outcome-driven and do not explicitly target this failure mode. To address this problem, we propose ADAPT (Attention Dynamics Alignment with Preference Tuning), an attention-based framework that intervenes directly on text-to-image cross-attention dynamics. We propose ADAPT with three key contributions: a cross-attention visual anchor refined from early decoding to provide stable spatial grounding, an attention-supervised inference mechanism that detects and corrects attention drift online, and a Visual Attention Guidance DPO that aligns preferences toward visually grounded responses. Experiments show that each component of ADAPT contributes to hallucination reduction, and the full framework achieves new best results across multiple hallucination benchmarks, reducing hallucination rates by 40%-60% across mainstream backbones while preserving general multimodal capabilities. Our work provides an attention-based perspective on mitigating hallucinations by exploring the model's internal text-to-image cross-attention behaviors. Code is available at https://github.com/yao-ustc/ADAPT
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は幻覚によって著しく妨げられ、提供される画像と矛盾する内容を生成する。
本稿では,幻覚の内在的サインを同定する: 生成中のテキストと画像の相互注意の漸進的劣化により,非集中や偏見といった特定の障害パターンが生じる。
既存の緩和戦略は、主に結果駆動であり、この障害モードを明示的にターゲットしていない。
この問題に対処するために,テキスト・ツー・イメージ・クロスアテンション・ダイナミクスに直接介入する注目ベースのフレームワークであるADAPT(Attention Dynamics Alignment with Preference Tuning)を提案する。
本稿では,早期の復号から改良された視覚的アンカーを用いて空間的接地を安定的に行うこと,注意の漂流をオンラインで検出・補正する注意制御型推論機構,視覚的接地応答に対する嗜好を整列する視覚的注意誘導DPOを提案する。
実験により、ADAPTの各コンポーネントは幻覚の減少に寄与し、完全なフレームワークは複数の幻覚ベンチマークで新たなベストプラクティスを達成し、一般的なマルチモーダル能力を保ちながら、メインストリームのバックボーン間で幻覚率を40%から60%削減することを示した。
我々の研究は、モデルの内部テキスト・ツー・イメージの相互注意行動を調べることによって幻覚を緩和する、注意に基づく視点を提供する。
コードはhttps://github.com/yao-ustc/ADAPTで入手できる。
関連論文リスト
- See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。
CAIは必要なときのみ2軸選択によってシーズを強制する。
複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
論文 参考訳（メタデータ） (2026-06-29T06:35:47Z) - Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。
本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
論文 参考訳（メタデータ） (2026-04-11T13:59:05Z) - See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment [16.616065291567445]
MLLM(Multimodal large language model)は視覚入力を欠いたオブジェクトを幻覚させる。
DOP-OBCは、公平な注意の原則に基づいて構築された、トレーニング不要でアーキテクチャに依存しないデコーディング戦略である。
論文 参考訳（メタデータ） (2026-04-10T11:01:48Z) - Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models [8.304027910542446]
大規模視覚言語モデル(LVLM)における視覚エンコーダの内部的注意ダイナミクスについて検討する。
分析の結果,幻覚の挙動は集中期において注目度が低いトークンに特に敏感であることが判明した。
本稿では、フォーカスフェーズにおいて、このようなトークンを選択的に抑制する軽量な推論時間介入を提案する。
論文 参考訳（メタデータ） (2026-04-04T02:46:58Z) - SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation [33.381194425912234]
視覚言語モデル(VLM)はしばしば幻覚に悩まされ、視覚入力と矛盾するコンテンツを生成する。
SAGE, Sink-Aware Grounded Decoding frameworkは, 生成中の自己注意を動的に調節することで幻覚を緩和する。
本手法は,MSCOCOでは10.65%,AMBERでは7.19%の相対的改善を実現している。
論文 参考訳（メタデータ） (2026-03-29T22:52:03Z) - Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs [67.69730908817321]
LVLMの内部ポジティブ・アテンション・ダイナミクス(PAD)は、注意シンクの歪みの下で自然に意味的にコアとなる視覚領域を明らかにする。
PADE(Positive Attention Dynamics Enhancement)は、意味的にコアとなる視覚領域を識別するためのPADマップを構築する訓練不要の注意介入である。
論文 参考訳（メタデータ） (2026-02-17T13:08:06Z) - Causally-Grounded Dual-Path Attention Intervention for Object Hallucination Mitigation in LVLMs [26.144870818163387]
構造因果グラフを用いて幻覚過程をモデル化する枠組みを提案する。
本稿では、復号時のモダリティ寄与不均衡を定量化する新しい計量であるVTACRを紹介する。
トークン・レイヤ・アテンションを動的に調整する微細言語によるアテンション介入機構を設計する。
論文 参考訳（メタデータ） (2025-11-12T06:13:26Z) - PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。
我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
論文 参考訳（メタデータ） (2025-10-22T02:41:07Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。
LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。
本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
論文 参考訳（メタデータ） (2025-01-03T17:56:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。