論文の概要: Detecting Object Hallucinations in Large Vision-Language Models via Cross-Modal Attention Drifts and Mask-Based Verification
- arxiv url: http://arxiv.org/abs/2609.02028v1
- Date: Wed, 02 Sep 2026 02:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.035637
- Title: Detecting Object Hallucinations in Large Vision-Language Models via Cross-Modal Attention Drifts and Mask-Based Verification
- Title（参考訳）: マルチモーダルアテンションドリフトとマスクによる大規模視覚言語モデルにおける物体の幻覚の検出
- Abstract要約: CADMPは軽量な物体幻覚検出フレームワークである。
隣接する層間注目ドリフトと、ターゲットの視覚マスキングに対する予測感度を組み合わせる。
軽量検出器は両方の信号を統合して幻覚予測を識別する。
- 参考スコア（独自算出の注目度）: 34.75598926130349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent advances in large vision-language models (LVLMs), object hallucination remains a major barrier to their reliable deployment. Existing detection methods often characterize visual grounding using attention from individual layers, leaving its evolution across layers underexplored. We propose CADMP, a lightweight object hallucination detection framework that combines adjacent-layer cross-modal attention drift with prediction sensitivity to targeted visual masking. During decoding, CADMP quantifies distributional changes between consecutive cross-modal attention maps to capture abrupt transitions in visual grounding. It then selects the transition with the largest drift, locates the corresponding visually relevant regions, and measures the change in prediction probability after masking these regions. These two signals provide complementary evidence: attention drift characterizes the stability of internal visual grounding, while probability variation verifies whether a prediction truly depends on the identified visual evidence. A lightweight detector integrates both signals to identify hallucinated predictions. Experiments on multiple benchmarks and representative open-source LVLMs demonstrate that CADMP achieves consistently competitive detection performance. Ablation studies further confirm the complementary contributions of adjacent-layer drift modeling and mask-based grounding verification.
- Abstract（参考訳）: 近年の大型視覚言語モデル (LVLM) の進歩にもかかわらず、オブジェクト幻覚は信頼性の高い展開において大きな障壁となっている。
既存の検出方法は、個々の層からの注意を使って視覚的な接地を特徴付けることが多く、その進化は探索されていない。
本稿では,隣接層間注目ドリフトと目標視マスキングに対する予測感度を組み合わせた軽量物体幻覚検出フレームワークCADMPを提案する。
デコーディング中、CADMPは連続したモーダルアテンションマップ間の分布変化を定量化し、視覚的接地における急激な遷移を捉える。
次に、最大のドリフトによる遷移を選択し、対応する視覚関連領域を特定し、これらの領域をマスキングした後の予測確率の変化を測定する。
これらの2つの信号は相補的な証拠を与える: 注意流は内部の視覚的グラウンドの安定性を特徴付けるが、確率変動は、予測が真に識別された視覚的証拠に依存するかどうかを検証する。
軽量検出器は両方の信号を統合して幻覚予測を識別する。
複数のベンチマークとオープンソースのLVLMの実験はCADMPが一貫して競合する検出性能を発揮することを示した。
アブレーション研究は、隣接層ドリフトモデリングとマスクベースグラウンドディング検証の相補的寄与をさらに確認する。
関連論文リスト
- DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models [59.414664850109155]
拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。
D-LLMは幻覚に弱いままであり、流動的な出力は事実的に誤った、またはサポートされていない内容を含む可能性がある。
論文 参考訳（メタデータ） (2026-07-24T06:45:43Z) - See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。
CAIは必要なときのみ2軸選択によってシーズを強制する。
複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
論文 参考訳（メタデータ） (2026-06-29T06:35:47Z) - Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。
本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。
言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
論文 参考訳（メタデータ） (2026-06-05T04:16:01Z) - Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。
Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。
詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
論文 参考訳（メタデータ） (2026-05-01T17:54:37Z) - From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception [12.4823697158657]
MLLM(Multimodal Large Language Models)は、一般的な視覚的理解において印象的な能力を示す。
彼らはしばしば、小さな物体を識別したり、微妙な視覚的関係を識別する必要のある、きめ細かい知覚タスクに干渉する。
この制限は、ネットワーク伝搬中の支配的なテキストトークンによって、細粒度の細かい視覚信号が早期に抑制または希釈される現象である、視覚減衰に起因している。
既存の入力中心のソリューションは、情報損失の本質的なメカニズムを根本的に逆転させることができない。
本稿では,この課題に対処するための変動情報フロー(VIF)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-14T09:32:13Z) - SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment [74.05278327933006]
SAVeは,音声・視覚深度検出フレームワークで,映像の完全学習を行う。
SAVEは、タグ付けアーティファクトをエミュレートするために、オンザフライ、アイデンティティ保存、地域対応の自明な擬似操作を生成する。
クロスモーダルな証拠を捉えるために、SAVeはリップ音声同期もモデル化している。
論文 参考訳（メタデータ） (2026-03-26T08:01:35Z) - From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。
本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
論文 参考訳（メタデータ） (2026-03-18T00:22:15Z) - Detecting Contextual Hallucinations in LLMs with Frequency-Aware Attention [27.49425252327799]
我々は、世代間の変化を分析することによって、注意に対する周波数認識の視点を導入する。
高周波アテンション特徴を用いた軽量幻覚検出装置を開発した。
論文 参考訳（メタデータ） (2026-02-20T11:18:45Z) - TDGNet: Hallucination Detection in Diffusion Language Models via Temporal Dynamic Graphs [30.313604786976715]
拡散言語モデル (D-LLMs) は並列化と双方向のコンテキストを提供する。
D-LLMsの幻覚検出は未発見のままである。
本稿では,トークンレベルの注目グラフを進化させる学習として幻覚検出を定式化する時間動的グラフフレームワークであるTDGNetを紹介する。
論文 参考訳（メタデータ） (2026-02-08T16:35:30Z) - Hallucination Begins Where Saliency Drops [18.189047289404325]
幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。
LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。
本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
論文 参考訳（メタデータ） (2026-01-28T05:50:52Z) - Revealing Perception and Generation Dynamics in LVLMs: Mitigating Hallucinations via Validated Dominance Correction [59.801614364841775]
LVLM(Large Vision-Language Models)は目覚ましい能力を示しているが、幻覚は依然として持続的な課題である。
本研究は,LVLMにおける視覚知覚とトークン生成の内部進化の系統的解析である。
我々は,VDC(d Dominance Correction)戦略を考案し,不要なトークンを検出し,検証済みトークンに置き換えて出力信頼性を向上させる。
論文 参考訳（メタデータ） (2025-12-21T17:05:42Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。