論文の概要: Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations
- arxiv url: http://arxiv.org/abs/2604.04863v1
- Date: Mon, 06 Apr 2026 17:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.301925
- Title: Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations
- Title（参考訳）: グローバルスコアを超えて:LVLM幻覚のロバスト検出器としての微細研削
- Abstract要約: 大規模視覚言語モデル(LVLM)は視覚的推論タスクにおいて高い性能を達成するが、幻覚の影響を受けやすい。
既存の検出方法は、オブジェクトトークンが入力画像とどのように関連しているかの粗い全体像計測に依存する。
モデル層間のきめ細かいトークンレベルの相互作用を調べるパッチレベルの幻覚検出フレームワークを提案する。
本手法は,トークンレベルの幻覚検出において最大90%の精度を達成し,幻覚検出のための微細構造解析の優位性を実証する。
- 参考スコア（独自算出の注目度）: 32.1925100166762
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large vision-language models (LVLMs) achieve strong performance on visual reasoning tasks but remain highly susceptible to hallucination. Existing detection methods predominantly rely on coarse, whole-image measures of how an object token relates to the input image. This global strategy is limited: hallucinated tokens may exhibit weak but widely scattered correlations across many local regions, which aggregate into deceptively high overall relevance, thus evading the current global hallucination detectors. We begin with a simple yet critical observation: a faithful object token must be strongly grounded in a specific image region. Building on this insight, we introduce a patch-level hallucination detection framework that examines fine-grained token-level interactions across model layers. Our analysis uncovers two characteristic signatures of hallucinated tokens: (i) they yield diffuse, non-localized attention patterns, in contrast to the compact, well-focused attention seen in faithful tokens; and (ii) they fail to exhibit meaningful semantic alignment with any visual region. Guided by these findings, we develop a lightweight and interpretable detection method that leverages patch-level statistical features, combined with hidden-layer representations. Our approach achieves up to 90% accuracy in token-level hallucination detection, demonstrating the superiority of fine-grained structural analysis for detecting hallucinations.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は視覚的推論タスクにおいて高い性能を達成するが、幻覚の影響を受けやすい。
既存の検出方法は、オブジェクトトークンが入力画像とどのように関連しているかの粗い全体像計測に大きく依存している。
このグローバル戦略は限定的であり、幻覚トークンは、多くの地域にわたって弱いが広く散在している相関関係を示す可能性がある。
忠実なオブジェクトトークンは、特定の画像領域に強く根ざさなければならない。
この知見に基づいて、モデル層間のきめ細かいトークンレベルの相互作用を調べるパッチレベルの幻覚検出フレームワークを導入する。
私たちの分析では、幻覚トークンの2つの特徴的シグネチャが明らかになった。
i) 忠実なトークンに見られるコンパクトで注目度の高い注意パターンとは対照的に、拡散した非局所的な注意パターンを生じる。
(II)どの視覚領域とも意味のある意味的アライメントを示さないこと。
これらの知見に導かれて,パッチレベルの統計的特徴と隠れ層表現を組み合わせた軽量かつ解釈可能な検出手法を開発した。
本手法は,トークンレベルの幻覚検出において最大90%の精度を達成し,幻覚検出のための微細構造解析の優位性を実証する。
関連論文リスト
- See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。
CAIは必要なときのみ2軸選択によってシーズを強制する。
複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
論文 参考訳（メタデータ） (2026-06-29T06:35:47Z) - Scalable Token-Level Hallucination Detection in Large Language Models [63.3426544914783]
内部幻覚は推論集約的なタスクでは検出が難しい。
TokenHDはトークンレベルの幻覚検出器を訓練するための全体論的パイプラインである。
論文 参考訳（メタデータ） (2026-05-12T16:47:40Z) - Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。
本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
論文 参考訳（メタデータ） (2026-04-11T13:59:05Z) - Hallucination Begins Where Saliency Drops [18.189047289404325]
幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。
LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。
本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
論文 参考訳（メタデータ） (2026-01-28T05:50:52Z) - Revealing Perception and Generation Dynamics in LVLMs: Mitigating Hallucinations via Validated Dominance Correction [59.801614364841775]
LVLM(Large Vision-Language Models)は目覚ましい能力を示しているが、幻覚は依然として持続的な課題である。
本研究は,LVLMにおける視覚知覚とトークン生成の内部進化の系統的解析である。
我々は,VDC(d Dominance Correction)戦略を考案し,不要なトークンを検出し,検証済みトークンに置き換えて出力信頼性を向上させる。
論文 参考訳（メタデータ） (2025-12-21T17:05:42Z) - The Map of Misbelief: Tracing Intrinsic and Extrinsic Hallucinations Through Attention Patterns [1.0896567381206717]
大きな言語モデル(LLM)は、安全クリティカルなドメインにますますデプロイされているが、幻覚の影響を受けやすいままである。
本稿では,外因性幻覚と内因性幻覚を区別する原理的評価枠組みを提案する。
本稿では,解釈可能性と幻覚検出性能を両立させる新しいアテンションアグリゲーション戦略を提案する。
論文 参考訳（メタデータ） (2025-11-13T22:42:18Z) - On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models [27.228426342808486]
我々は、視覚エンコーダ(VE)内の不確実な視覚トークンが、物体の幻覚に寄与する重要な要因であると主張している。
本稿では,VEのみを修飾することにより,物体の幻覚を緩和するための簡易かつ効果的な戦略を提案する。
論文 参考訳（メタデータ） (2025-10-10T05:12:52Z) - GLSim: Detecting Object Hallucinations in LVLMs via Global-Local Similarity [6.744353807473373]
トレーニング不要なオブジェクト幻覚検出フレームワークであるGLSimを紹介する。
我々は,GLSimが優れた検出性能を達成し,高いマージンで競争ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2025-08-27T15:30:06Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳（メタデータ） (2025-08-13T07:58:01Z) - When Semantics Mislead Vision: Mitigating Large Multimodal Models Hallucinations in Scene Text Spotting and Understanding [75.57997630182136]
シーンテキスト領域に着目した大規模マルチモーダルモデルにおけるトランスフォーマー層は,意味幻覚を生成する傾向が低い。
本研究では,ZoomText と Grounded Layer Correction の2つの主要コンポーネントからなる学習自由な意味幻覚緩和フレームワークを提案する。
本手法は,意味幻覚を効果的に緩和するだけでなく,シーンテキストのスポッティングや理解のための公開ベンチマークの性能も向上する。
論文 参考訳（メタデータ） (2025-06-05T19:53:19Z) - CHAIR -- Classifier of Hallucination as Improver [1.397828249435483]
トークンの各層からの内部ロジットを分析し,幻覚を検出するための教師付きフレームワークであるCHAIR(Classifier of Hallucination As ImproveR)を紹介する。
本手法は,すべての層にまたがるトークンロジットから,最大,最小,平均,標準偏差,傾斜といった,コンパクトな特徴セットを抽出し,過剰に収まることなく効果的な幻覚検出を可能にする。
論文 参考訳（メタデータ） (2025-01-05T12:15:02Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T08:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。