論文の概要: Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.16558v1
• Date: Tue, 17 Mar 2026 14:19:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.324828
• Title: Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models
• Title（参考訳）: セグメンテーションに基づく注意エントロピー:大規模視覚言語モデルにおける物体の幻覚の検出と緩和
• Abstract要約: LVLM(Large Vision-Language Models)は多くのマルチモーダルタスクにおいて高い性能を達成するが、オブジェクト幻覚は信頼性を著しく損なう。 現存する研究の多くは、過度に強い言語に幻覚をもたらし、視覚的根拠が不十分なテキストモダリティに焦点を当てている。 本研究では,意味的セグメンテーションを利用してオブジェクトレベルの意味空間における視覚的注意の不確かさを定量化する注意エントロピー(SAE)を提案する。
• 参考スコア（独自算出の注目度）: 9.388076929154673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) achieve strong performance on many multimodal tasks, but object hallucinations severely undermine their reliability. Most existing studies focus on the text modality, attributing hallucinations to overly strong language priors and insufficient visual grounding. In contrast, we observe that abnormal attention patterns within the visual modality can also give rise to hallucinated objects. Building on this observation, we propose Segmentation-based Attention Entropy (SAE), which leverages semantic segmentation to quantify visual attention uncertainty in an object-level semantic space. Based on SAE, we further design a reliability score for hallucination detection and an SAE-guided attention adjustment method that modifies visual attention at inference time to mitigate hallucinations. We evaluate our approach on public benchmarks and in real embodied multimodal scenarios with quadruped robots. Experimental results show that SAE substantially reduces object hallucinations without any additional training cost, thereby enabling more trustworthy LVLM-driven perception and decision-making.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は多くのマルチモーダルタスクにおいて高い性能を達成するが、オブジェクト幻覚は信頼性を著しく損なう。 現存する研究の多くは、過度に強い言語に幻覚をもたらし、視覚的根拠が不十分なテキストモダリティに焦点を当てている。 対照的に、視覚的モダリティの異常な注意パターンは、幻覚的物体を生じさせる可能性がある。 本研究では,意味的セグメンテーションを利用してオブジェクトレベルのセグメンテーション空間における視覚的注意の不確実性を定量化するセグメンテーションに基づく注意エントロピー(SAE)を提案する。 SAEに基づいて、幻覚検出のための信頼性スコアと、推論時の視覚的注意を調整して幻覚を緩和するSAE誘導注意調整法をさらに設計する。 我々は,四足歩行ロボットを用いた公開ベンチマークと実実施型マルチモーダルシナリオにおけるアプローチを評価した。 実験の結果,SAEはトレーニングコストを伴わずに物体の幻覚を著しく低減し,より信頼性の高いLVLMによる知覚と意思決定を可能にした。

関連論文リスト

• HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models [70.67112531913669]
  視覚言語モデルにおける幻覚は、一般的に意味的誤りとして扱われる。 それまでの研究は主に、世代ごとの幻覚の検出や抑制に重点を置いていた。 幻覚的意味論がモデルの推論コンテキストに入る段階である PHR (Post Hallucination Reasoning) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T15:02:11Z)
• When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
  本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-23T17:54:36Z)
• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• Attention at Rest Stays at Rest: Breaking Visual Inertia for Cognitive Hallucination Mitigation [50.51650162235191]
  本稿では,認知的推論を視覚的注意の動的応答性としてモデル化することにより,この慣性パターンを破る訓練のない慣性認識型視覚興奮(IVE)法を提案する。 IVEは様々な基礎MLLMと複数の幻覚ベンチマーク、特に認知幻覚に有効である。
  論文  参考訳（メタデータ） (2026-04-02T12:51:07Z)
• On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models [27.228426342808486]
  我々は、視覚エンコーダ(VE)内の不確実な視覚トークンが、物体の幻覚に寄与する重要な要因であると主張している。 本稿では,VEのみを修飾することにより,物体の幻覚を緩和するための簡易かつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-10T05:12:52Z)
• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding [5.976839106353883]
  SECOND: Selective and Contrastive Decodingは、視覚言語モデルがオブジェクト中心の方法でマルチスケールの視覚情報を活用できるようにする新しいアプローチです。 SECONDは知覚幻覚を著しく減らし、幅広いベンチマークを上回ります。
  論文  参考訳（メタデータ） (2025-06-10T02:55:38Z)
• A Comprehensive Analysis for Visual Object Hallucination in Large Vision-Language Models [30.037505914306504]
  視覚言語モデル(LVLM)はマルチモーダルタスクにおいて顕著な機能を示す。 LVLMはクエリ入力に基づいて不正確なビジュアルオブジェクト関連情報を生成し、安全性と信頼性に関する誤った情報や懸念を引き起こす可能性がある。 本稿では,LLaVAライクなLVLMの各コンポーネントを分析し,潜在的なエラーの発生源とその影響を同定する。
  論文  参考訳（メタデータ） (2025-05-04T01:47:58Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
  LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。 本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。 本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T03:40:05Z)
• Reducing Hallucinations in Vision-Language Models via Latent Space Steering [34.1755878632361]
  幻覚は、アプリケーションに大規模な視覚言語モデル(LVLM)を配置する上での課題である。 本稿では,視覚的特徴の安定性を高めるために,視覚とテクスチュアル・インターベンション(VTI, Visual and Textual Intervention)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。