論文の概要: IKOD: Mitigating Visual Attention Degradation in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2508.03469v1
• Date: Tue, 05 Aug 2025 14:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.998182
• Title: IKOD: Mitigating Visual Attention Degradation in Large Vision-Language Models
• Title（参考訳）: IKOD:大規模視覚言語モデルにおける視覚的注意力低下の軽減
• Authors: Jiabing Yang, Chenhang Cui, Yiyang Zhou, Yixiang Chen, Peng Xia, Ying Wei, Tao Yu, Yan Huang, Liang Wang,
• Abstract要約: 本稿では,LVLM(Large Vision-Language Models)が,シーケンス長の増大に伴って幻覚が増大する長期バイアスを示すことを示す。 我々は、より画像中心のシーケンスを生成する協調デコーディング戦略である、イメージアテンション誘導キー値マージcOllaborative Decoding (IKOD)を提案する。
• 参考スコア（独自算出の注目度）: 20.036659182106806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress across multiple domains. However, these models still face the inherent challenge of integrating vision and language for collaborative inference, which often leads to "hallucinations", outputs that are not grounded in the corresponding images. Many efforts have been made to address these issues, but each comes with its own limitations, such as high computational cost or expensive dataset annotation. Recent research shows that LVLMs exhibit a long-term bias where hallucinations increase as the sequence length grows, yet the underlying cause remains poorly understood. Building on extensive research into attention mechanisms in LVLMs, we analyze the relationship between this long-term bias and visual attention. In our research, we identify a consistent phenomenon in current LVLMs: the model's attention to visual input diminishes as the generated sequence grows, which we hypothesize to be a key factor contributing to observed increasing hallucinations. Based on these insights, we propose Image attention-guided Key-value merging cOllaborative Decoding (IKOD), a collaborative decoding strategy generating more image-focused sequences. This method derives logits from shorter sequences with higher image attention through key-value merging and combines them with those from the original decoding, effectively mitigating attention degradation and suppressing hallucinations while not incurring too much inference cost. Extensive experiments on both hallucination and comprehensive benchmarks demonstrate IKOD's superior effectiveness in mitigating hallucinations and improving comprehensive capacities for LVLMs. Importantly, IKOD requires no additional training or external tools, making it a lightweight and efficient framework applicable to various models.
• Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)の進歩は,複数の領域で顕著に進展している。 しかしながら、これらのモデルは、協調推論のための視覚と言語を統合するという固有の課題に直面しており、多くの場合、対応する画像に基づかない「幻覚」を出力する。 これらの問題に対処するために多くの努力がなされているが、それぞれに高い計算コストや高価なデータセットアノテーションなど、独自の制限がある。 近年の研究では、LVLMは、シーケンスの長さが大きくなるにつれて幻覚が増大する長期的なバイアスを示すが、根本原因はよく分かっていない。 LVLMにおける注意機構の広範な研究に基づいて、この長期的偏見と視覚的注意との関係を分析する。 本研究は,現在のLVLMにおける一貫した現象を同定し,生成配列の増大に伴って視覚入力への注意が減少し,幻覚の増大に寄与する重要な要因となると仮定する。 これらの知見に基づいて、より画像中心のシーケンスを生成する協調デコーディング戦略である、イメージアテンション誘導キー値マージcOllaborative Decoding (IKOD)を提案する。 本手法は、キー値のマージにより、より注目度の高い短いシーケンスからロジットを導出し、それらを元の復号法と組み合わせることで、注意低下を効果的に軽減し、推論コストの過大さを伴わず幻覚を抑制する。 幻覚および包括的ベンチマークの広範な実験は、IKODが幻覚を緩和し、LVLMの包括的能力を改善する上で優れた効果を示した。 重要なことは、IKODは追加のトレーニングや外部ツールを必要としないため、様々なモデルに適用可能な軽量で効率的なフレームワークである。

関連論文リスト

• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy [53.07517728420411]
  低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。 低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。 低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
  論文  参考訳（メタデータ） (2025-03-26T16:05:01Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)
• MINT: Mitigating Hallucinations in Large Vision-Language Models via Token Reduction [6.416957959150438]
  幻覚は、高い信頼性を必要とする領域におけるLVLM(Large Vision-Language Models)の適用を妨げる。 tokeN再帰による幻覚を緩和する訓練不要な復号法であるMINTを提案する。 提案手法は,従来のモデルに比べて知覚障害による幻覚の緩和効果が4%向上する。
  論文  参考訳（メタデータ） (2025-02-02T08:34:57Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。