論文の概要: Beyond Visual Enhancement: Adaptive Multi-Context Steering to Mitigate LVLM Hallucinations

• arxiv url: http://arxiv.org/abs/2610.11907v1
• Date: Thu, 08 Oct 2026 13:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.03757
• Title: Beyond Visual Enhancement: Adaptive Multi-Context Steering to Mitigate LVLM Hallucinations
• Title（参考訳）: ビジュアルエンハンスメントを超えて:LVLM幻覚を緩和するための適応型マルチコンテキストステアリング
• Abstract要約: 既存の訓練なしの手法は一般的に、対照的な復号化や視覚的拡張を通じて幻覚を緩和する。 LVLMは幻覚を抑制するために、異なるコンテキストソースのコントリビューションを動的に制御できるのか? LVLMは、適応的な視覚的ステアリングを誘導できる本質的な視覚刺激傾向を示す。 我々は、デコーディング中に視覚、プリフィルされたテキスト、生成されたコンテキストを適応的にコーディネートする軽量なトレーニングフリーフレームワークであるAIMSを提案する。
• 参考スコア（独自算出の注目度）: 32.61839373218571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination remains a significant challenge in Large Vision-Language Models (LVLMs). Existing training-free methods generally mitigate hallucinations through contrastive decoding or visual enhancement, often increasing the relative influence of visual evidence during generation. This raises a fundamental question: Can LVLMs dynamically regulate the contributions of different context sources to suppress hallucinations? In this work, we investigate and quantify how LVLMs coordinate multiple context sources during decoding and examine how this intrinsic behavior can guide hallucination mitigation. We find that LVLMs exhibit an intrinsic vision-attending tendency that can guide adaptive visual steering, while textual contexts can also contribute to hallucination mitigation. Motivated by these findings, we propose AIMS (Adaptive Information Multi-source Steering), a lightweight training-free framework that adaptively coordinates visual, prefilled textual, and generated contexts during decoding. Specifically, AIMS constructs compact prototypes for the three context domains and estimates their affinities with the current query to determine head-wise steering weights. The resulting multi-source steering direction is applied to the query representation, enabling adaptive context integration without additional model training or auxiliary forward passes. Extensive experiments across multiple LVLMs and decoding strategies demonstrate that AIMS effectively mitigates object hallucination while maintaining competitive general-purpose multimodal capabilities.
• Abstract（参考訳）: 幻覚は、LVLM(Large Vision-Language Models)において重要な課題である。 既存の訓練のない手法は、対照的な復号化や視覚的増強を通じて幻覚を緩和し、しばしば世代間における視覚的証拠の相対的な影響を増大させる。 LVLMは幻覚を抑制するために、異なるコンテキストソースのコントリビューションを動的に制御できるのか? 本研究では,LVLMがデコード中に複数のコンテキストソースをどのように協調するかを検証し,その内在的な振る舞いが幻覚の緩和をいかに導くかを検討する。 LVLMは、適応的な視覚的ステアリングを誘導できる固有の視覚刺激傾向を示し、テキストコンテキストは幻覚の緩和にも寄与する。 これらの知見に触発されたAIMS(Adaptive Information Multi-source Steering)は,デコーディング中の視覚,プリフィルドテキスト,生成コンテキストを適応的にコーディネートする軽量なトレーニングフリーフレームワークである。 具体的には、AIMSは3つのコンテキスト領域のコンパクトなプロトタイプを構築し、現在のクエリとの親和性を推定し、頭回りの操舵重みを決定する。 結果のマルチソースステアリング方向はクエリ表現に適用され、追加のモデルトレーニングや補助フォワードパスを使わずに適応的なコンテキスト統合が可能となる。 複数のLVLMおよびデコード戦略にわたる大規模な実験により、AIMSは競合する汎用マルチモーダル能力を保ちながら、オブジェクト幻覚を効果的に緩和することを示した。

関連論文リスト

• ACT Now: Preempting LVLM Hallucinations via Adaptive Context Integration [71.21097024566285]
  LVLM(Large-Language Models)はしばしば深刻な幻覚に悩まされる。 既存の緩和戦略は、視覚的焦点を強化するか、強い先行を抑えるために、言語的、単一段階の状態に依存している。 本研究では,適応的な文脈情報の統合を通じて幻覚を緩和する学習自由推論介入手法であるAdaptive Context in VisionTegration (ACT)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:49:50Z)
• Modality Bias in LVLMs: Analyzing and Mitigating Object Hallucination via Attention Lens [0.0]
  大規模視覚言語モデル (LVLM) は、顕著なマルチモーダル理解と推論能力を示した。 LVLMはテキストのプロンプトと大きな言語モデルの内部知識に過度に依存し、視覚的手がかりと矛盾する記述を生成する傾向がある。 物体幻覚を緩和するためのトレーニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2025-08-04T13:40:59Z)
• Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
  LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。 本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。 提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-05-26T08:36:10Z)
• Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation [38.43656456659151]
  大規模視覚言語モデル (LVLM) はマルチモーダルタスクにおいて顕著な性能を達成した。 彼らはまだ幻覚に悩まされており、視覚的な入力と矛盾するテキストを生成し、現実世界のアプリケーションに重大なリスクを及ぼしている。 LVLM における幻覚を緩和するために,SAE 由来の潜伏方向に基づくプラグアンドプレイ方式である SAE Latent Directions (SSL) を用いたステアリング LVLM を提案する。
  論文  参考訳（メタデータ） (2025-05-22T02:45:45Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。