論文の概要: Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

• arxiv url: http://arxiv.org/abs/2607.16841v1
• Date: Sat, 18 Jul 2026 14:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.269936
• Title: Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment
• Title（参考訳）: 答える前に明らかに見る: サイリエンシ駆動の知覚認識を通してLVLMの幻覚を緩和する
• Abstract要約: Saliency-Driven Perceptual Realignment (SDPR) は、推論全体を通して視覚的認知の低下を緩和するトレーニング不要のフレームワークである。 提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。
• 参考スコア（独自算出の注目度）: 45.92240827409312
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large vision-language models (LVLMs) have demonstrated remarkable capabilities in multimodal understanding. However, they remain prone to hallucinations, generating responses that are inconsistent with the visual evidence. Existing mitigation methods largely address language-prior bias or cross-modal imbalance, while progressive visual degradation across perception and memory remains underexplored. In this work, we propose Saliency-Driven Perceptual Realignment (SDPR), a training-free framework that mitigates the degradation of visual awareness throughout inference. Specifically, we first introduce saliency-driven attention redistribution to release attention hijacked by non-semantic sink tokens, thereby recovering critical visual evidence. Second, we identify spatial distortion in the KV cache and propose saliency-driven cache alignment to preserve query-relevant visual features during generation. Finally, we introduce prior-constrained contrastive decoding to penalize unfaithful predictions induced by dominant language priors. Our proposed SDPR is robust against hallucinations due to its holistic alignment of visual awareness across the entire generative trajectory. Extensive experiments across diverse LVLM architectures show that SDPR outperforms state-of-the-art methods on both hallucination and general-purpose benchmarks, requiring no additional training and incurring minimal runtime overhead. The code is available \href{https://github.com/PengSyuChen/SDPR}{\color{blue}{here}}.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)はマルチモーダル理解において顕著な能力を示した。 しかし、彼らは幻覚に苦しむ傾向にあり、視覚的証拠と矛盾する反応を生じさせる。 既存の緩和法は主に言語優先バイアスやモーダル不均衡に対処するが、知覚と記憶の進歩的な視覚的劣化は未解明のままである。 本研究では,視覚的認知の低下を抑える訓練自由フレームワークであるSDPR(Saliency-Driven Perceptual Realignment)を提案する。 具体的には、まず、非セマンティックシンクトークンによってハイジャックされた注意を解放するために、サリエンシ駆動による注意再分配を導入し、重要な視覚的証拠を回収する。 第二に、KVキャッシュにおける空間歪みを特定し、生成中のクエリ関連視覚的特徴を保存するために、サリエンシ駆動型キャッシュアライメントを提案する。 最後に、先行制約付きコントラストデコーディングを導入し、支配的な言語先行によって引き起こされる不誠実な予測をペナルティ化する。 提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。 多様なLVLMアーキテクチャの広範な実験により、SDPRは幻覚と汎用ベンチマークの両方において最先端の手法より優れており、追加のトレーニングを必要とせず、最小限のランタイムオーバーヘッドが生じる。 コードは href{https://github.com/PengSyuChen/SDPR}{\color{blue}{here}} で入手できる。

関連論文リスト

• Disentangling Semantic Attention from Structural Bias in the Attention Manifold [61.68044165974505]
  MLLM(Multimodal Large Language Models)は、意味的に非形式的な視覚トークンに対して不均等な注意を払っている。 本研究では,SPAR(Saliency-guided Purification and Adaptive Redistribution)を導入した。
  論文  参考訳（メタデータ） (2026-07-27T05:30:19Z)
• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models [14.32953618311784]
  Prefill-Time Intervention (PTI)は、プレフィル期間中に一度だけ介入する新しいステアリングパラダイムである。 PTIはモダリティを意識し、視覚的およびテキスト的表現の異なる方向を導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:42:27Z)
• When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
  本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-23T17:54:36Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• Context-Aware Decoding for Faithful Vision-Language Generation [5.258492912374723]
  視覚入力と矛盾する応答を生成する幻覚は、大きな視覚言語モデル(LVLM)の重要な限界である。 本研究では,幻覚を駆動するレイヤワイズ生成ダイナミクスを探索し,学習自由化戦略を提案する。
  論文  参考訳（メタデータ） (2026-01-09T16:50:57Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。