論文の概要: Hallucinations Leave a Grounding Signature:Verifier-Guided Decoding for Selective Object Correction
- arxiv url: http://arxiv.org/abs/2607.27823v1
- Date: Thu, 30 Jul 2026 08:02:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.44796
- Title: Hallucinations Leave a Grounding Signature:Verifier-Guided Decoding for Selective Object Correction
- Title（参考訳）: 接地信号を残した幻覚:選択的物体補正のための検証ガイド付き復号法
- Abstract要約: 大型視覚言語モデル(LVLM)は、画像から欠落している物体を幻覚させる。
Intrinsic Grounding Signature (IGS) に欠落した診断証拠がエンコードされていることを示す。
本稿では、軽量な検証器が各出現するオブジェクトの言及を検査する復号化フレームワークであるVerifier-Guided Decoding (VGD)を提案する。
- 参考スコア（独自算出の注目度）: 36.98361389444117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs) often hallucinate objects that are absent from an image. Despite recent progress, existing mitigation methods still lack reliable object-level grounding diagnostics and therefore tend to apply coarse-grained interventions, which can impair visual understanding, shorten responses, and reduce coverage of genuinely grounded objects. The key challenge is thus to detect, during generation, whether each emerging object mention is supported by reliable visual evidence, so that hallucination can be mitigated selectively. Yet output confidence reflects next-token plausibility rather than visual support, allowing language priors to make absent objects appear certain. We show that the missing diagnostic evidence is encoded in an Intrinsic Grounding Signature (IGS), a distributed signed attention pattern that remains informative for such confident hallucinations. Based on IGS, we propose Verifier-Guided Decoding (VGD), a decoding framework in which a lightweight verifier examines each emerging object mention, rolls back the KV cache when the mention is identified as high risk, suppresses the object and its synonyms, and regenerates the affected continuation. Because VGD intervenes only on object mentions identified as high risk, it reduces object hallucination while preserving the model's original visual understanding and grounded object coverage. Experiments on CHAIR and AMBER-G show that VGD achieves state-of-the-art object hallucination reduction: at @rec90, it cuts AMBER-G CHAIR by 43.6\% while retaining 99.6\% of grounded-object coverage, and reduces CHAIR-MSCOCO CHAIR$_i$/CHAIR$_s$ by 37.0\%/30.4\% without shortening captions.
- Abstract（参考訳）: 大型視覚言語モデル(LVLM)は、画像から欠落している物体を幻覚させる。
近年の進歩にもかかわらず、既存の緩和法は信頼性に欠けており、粗い介入を施す傾向があるため、視覚的理解が損なわれ、応答が短くなり、真に接地された物体のカバレッジが減少する。
したがって、世代毎に、各出現するオブジェクトの言及が信頼できる視覚的証拠によって支持されているかどうかを検知し、幻覚を選択的に緩和することが重要な課題である。
しかし、出力の信頼度は視覚的サポートよりも次の可視性を反映しており、言語が欠落したオブジェクトを確実に見せることができる。
本研究は本研究の成果として,本研究の成果として,本研究の成果を生かし,本研究の成果をまとめるものである。
IGSをベースとして,軽量な検証器が各出現するオブジェクトの言及を検証し,参照を高いリスクと認識した場合にKVキャッシュをロールバックし,オブジェクトとその同義語を抑圧し,影響を受ける継続を再生する復号化フレームワークであるVerifier-Guided Decoding (VGD)を提案する。
VGDは、高いリスクと認識されたオブジェクトの言及にのみ介入するため、モデルの本来の視覚的理解と接地されたオブジェクトカバレッジを維持しながら、オブジェクトの幻覚を低減する。
CHAIR と AMBER-G の実験では、VGD は最先端の物体幻覚の低減を実現しており、@rec90 では AMBER-G CHAIR を 99.6 % の接地対象のカバレッジを維持しながら 43.6 % 削減し、CAIR-MSCOCO CHAIR$_i$/CHAIR$_s$ を37.0 %/30.4 % 短縮する。
関連論文リスト
- Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination [23.128973540926552]
実物と幻影物の両方が、モデルの中間から後期の層で等しく強い視覚的注意を受けることがわかった。
本稿では,幻覚検出のためのLogit-Lens Consistency Checkを組み込んだ無トレーニング検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-07T14:56:12Z) - Detecting Clinical Hallucinations in LVLMs via Counterfactual Visual Grounding Uncertainty [22.008964207160663]
視覚的エビデンスを基礎として,任意のLVLM応答を監査する視覚追跡可能な幻覚検出フレームワークを提案する。
我々は、視覚的に検証可能なエンティティを抽出し、医療領域適応Qwen-VL接地検証器を用いて、入力画像上に各エンティティをローカライズする。
複数の医用画像モダリティとLVLMバックボーンを用いた実験により,本手法は幻覚検出性能を継続的に向上することが示された。
論文 参考訳（メタデータ） (2026-06-26T18:15:38Z) - When Looking Is Not Enough: Visual Attention Structure Reveals Hallucination in MLLMs [43.42932571168595]
本稿では,LaSCD(Laplacian-Spectral Contrastive Decoding)を提案する。
幻覚と一般的なマルチモーダルベンチマークの実験では、LaSCDは一般の能力を保ちながら、常に幻覚を減少させる。
論文 参考訳（メタデータ） (2026-05-12T05:42:11Z) - VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳（メタデータ） (2026-04-21T12:40:07Z) - Countering the Over-Reliance Trap: Mitigating Object Hallucination for LVLMs via a Self-Validation Framework [35.29785249891566]
大規模視覚言語モデル(LVLM)は、既存のオブジェクトの記述を生成し、その信頼性を損なう。
以前の作業は、LVLMが言語事前に過度に依存していることと、ロジットキャリブレーションによってそれを緩和しようとすることによる。
我々は,LVLMがオブジェクトの存在の信頼性を忠実に検証できるように,Language-Prior-Free Verificationを提案する。
論文 参考訳（メタデータ） (2026-01-30T01:37:53Z) - What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。
これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。
実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
論文 参考訳（メタデータ） (2025-08-03T03:11:48Z) - Attention Hijackers: Detect and Disentangle Attention Hijacking in LVLMs for Hallucination Mitigation [123.54980913741828]
LVLM(Large Vision-Language Models)は幻覚に弱い。
AID(Attention HIjackers Detection and Disentanglement)と呼ばれる新しい非トレーニング型戦略を提案する。
AIDは、命令駆動の視覚的サリエンスを計算することによって、意図的ヒジャッカーを特定する。
次に、これらの特定されたヒジャッカーの視覚的注意を隠蔽するために注意散らし機構を提案する。
Re-Disentanglementは、過剰なマスキング効果を避けるために、命令駆動と画像駆動の視覚的サリエンスの間のバランスを再計算する。
論文 参考訳（メタデータ） (2025-03-11T09:35:55Z) - The Role of Background Information in Reducing Object Hallucination in Vision-Language Models: Insights from Cutoff API Prompting [7.813585591163111]
本研究は,物体幻覚における注意駆動視覚刺激の成功事例と失敗事例を分析した。
背景コンテキストの保存は,物体幻覚の緩和に不可欠であることを示す。
論文 参考訳（メタデータ） (2025-02-21T11:26:21Z) - CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。
これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
論文 参考訳（メタデータ） (2024-11-19T18:27:31Z) - Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding [14.701135083174918]
LVLM(Large Vision-Language Models)は、視覚入力から詳細でコヒーレントな応答を生成する。
言語に対する依存度が高すぎるため、幻覚を起こす傾向にある。
そこで我々は,SumGD (Slide-Guided Decoding) という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-17T08:24:27Z) - Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。
これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。
最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文 参考訳（メタデータ） (2024-06-20T16:56:11Z) - AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
視覚言語モデル(LVLM)は幻覚の傾向が強い。
ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。
最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
論文 参考訳（メタデータ） (2024-06-16T11:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。