論文の概要: Mitigating Action-Relation Hallucinations in LVLMs via Relation-aware Visual Enhancement
- arxiv url: http://arxiv.org/abs/2605.11808v1
- Date: Tue, 12 May 2026 09:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.73842
- Title: Mitigating Action-Relation Hallucinations in LVLMs via Relation-aware Visual Enhancement
- Title（参考訳）: リレーショナル・アウェア・ビジュアル・エンハンスメントによるLVLMの行動関連幻覚の緩和
- Abstract要約: LVLM(Large Vision-Language Models)は、様々な視覚言語タスクにおいて顕著なパフォーマンスを実現している。
LVLMはまだ幻覚に悩まされており、視覚入力と矛盾するテキストを生成する。
本稿では,行動関連画像領域を特定し,LVLMの注目度を高めるための枠組みを提案する。
- 参考スコア（独自算出の注目度）: 8.424418427339337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models (LVLMs) have achieved remarkable performance on diverse vision-language tasks. However, LVLMs still suffer from hallucinations, generating text that contradicts the visual input. Existing research has primarily focused on mitigating object hallucinations, but often overlooks more complex relation hallucinations, particularly action relations involving interactions between objects. In this study, we empirically observe that the primary cause of action-relation hallucinations in LVLMs is the insufficient attention allocated to visual information. Thus, we propose a framework to locate action-relevant image regions and enhance the LVLM's attention to those regions. Specifically, we define the Action-Relation Sensitivity (ARS) score to identify attention heads that are most sensitive to action-relation changes, thereby localizing action-relevant image regions that contain key visual cues. Then, we propose the Relation-aware Visual Enhancement (RVE) method to enhance the LVLM's attention to these action-relevant image regions. Extensive experiments demonstrate that, compared to existing baselines, our method achieves superior performance in mitigating action-relation hallucinations with negligible additional inference cost. Furthermore, it effectively generalizes to spatial-relation hallucinations and object hallucinations.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)は、様々な視覚言語タスクにおいて顕著なパフォーマンスを実現している。
しかし、LVLMはまだ幻覚に悩まされており、視覚入力と矛盾するテキストを生成する。
既存の研究は主に対象の幻覚を緩和することに焦点を当ててきたが、しばしばより複雑な関係の幻覚、特に物体間の相互作用に関わる行動関係を見落としている。
本研究では,LVLMにおける行動関連幻覚の主な原因が視覚情報に割り当てられる注意力の不足であることを実証的に観察した。
そこで本研究では,行動関連画像領域を特定し,それらの領域に対するLVLMの関心を高めるための枠組みを提案する。
具体的には、アクション関連感性(ARS)スコアを定義し、アクション関連性の変化に最も敏感なアテンションヘッドを特定し、重要な視覚的手がかりを含むアクション関連画像領域を局所化する。
そこで本研究では,これらのアクション関連画像領域に対するLVLMの注目度を高めるためのRVE手法を提案する。
実験の結果,既存のベースラインと比較して,行動関連幻覚の緩和に要しない追加推論コストの低減に優れた性能が得られた。
さらに、空間関連幻覚や対象幻覚に効果的に一般化する。
関連論文リスト
- Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination [23.128973540926552]
実物と幻影物の両方が、モデルの中間から後期の層で等しく強い視覚的注意を受けることがわかった。
本稿では,幻覚検出のためのLogit-Lens Consistency Checkを組み込んだ無トレーニング検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-07T14:56:12Z) - When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。
HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
論文 参考訳（メタデータ） (2026-04-23T17:54:36Z) - R-CoV: Region-Aware Chain-of-Verification for Alleviating Object Hallucinations in LVLMs [88.62912181680413]
Region-Aware Chain-of-Verification (R-CoV) は、大規模視覚言語モデルにおける物体の幻覚を緩和する視覚連鎖検証法である。
R-CoVは、初期応答生成、エンティティ抽出、座標生成、領域記述、検証実行、最終応答生成の6つのステップから構成される。
論文 参考訳（メタデータ） (2026-04-22T15:41:33Z) - Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models [9.388076929154673]
LVLM(Large Vision-Language Models)は多くのマルチモーダルタスクにおいて高い性能を達成するが、オブジェクト幻覚は信頼性を著しく損なう。
現存する研究の多くは、過度に強い言語に幻覚をもたらし、視覚的根拠が不十分なテキストモダリティに焦点を当てている。
本研究では,意味的セグメンテーションを利用してオブジェクトレベルの意味空間における視覚的注意の不確かさを定量化する注意エントロピー(SAE)を提案する。
論文 参考訳（メタデータ） (2026-03-17T14:19:22Z) - IKOD: Mitigating Visual Attention Degradation in Large Vision-Language Models [20.036659182106806]
本稿では,LVLM(Large Vision-Language Models)が,シーケンス長の増大に伴って幻覚が増大する長期バイアスを示すことを示す。
我々は、より画像中心のシーケンスを生成する協調デコーディング戦略である、イメージアテンション誘導キー値マージcOllaborative Decoding (IKOD)を提案する。
論文 参考訳（メタデータ） (2025-08-05T14:05:15Z) - CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。
本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
論文 参考訳（メタデータ） (2025-06-30T07:52:36Z) - Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。
LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。
本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
論文 参考訳（メタデータ） (2025-01-03T17:56:28Z) - Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。
本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。
視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
論文 参考訳（メタデータ） (2024-12-18T15:29:30Z) - Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens [7.806633929976787]
LVLM(Large Vision-Language Models)の幻覚は、その信頼性を著しく損なう。
本稿では,LVLMが視覚情報をどのように処理し,その処理が幻覚を引き起こすかについて述べる。
本稿では,様々な頭部に情報を統合することで視覚的注意を調節する簡易な推論時間手法を提案する。
論文 参考訳（メタデータ） (2024-11-23T03:40:05Z) - Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models [69.79709804046325]
視覚関係の幻覚を評価するための新しいベンチマークであるR-Benchを紹介する。
R-Benchは、関係の存在に焦点を当てたイメージレベルの質問と、局所的な視覚的理解を評価するインスタンスレベルの質問を特徴としている。
我々は,関係関連性,主観関連性,関係対象性という,幻覚につながる3つの関係共起関係を同定する。
論文 参考訳（メタデータ） (2024-06-24T08:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。