論文の概要: Mitigating Hallucination in Vision-Language Models through Barrier-Regulated Adaptive Closed-form Steering

• arxiv url: http://arxiv.org/abs/2605.29881v1
• Date: Thu, 28 May 2026 13:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.329542
• Title: Mitigating Hallucination in Vision-Language Models through Barrier-Regulated Adaptive Closed-form Steering
• Title（参考訳）: バリア制御型アダプティブクローズドフォームステアリングによる視覚言語モデルにおける幻覚の緩和
• Authors: Soumyadeep Jana, Pulkit Mittal, Sanasam Ranbir Singh,
• Abstract要約: 大型視覚言語モデル(LVLM)は入力画像に存在しない物体を幻覚させる。 既存の推論時間緩和手法は、世代を通してロジットや隠れた状態を修正している。 彼らは明確な接地目標を欠き、モデルが既に十分に接地されている場合でも介入し、接地失敗の深刻さに適応しない固定された補正強度を使用する。 本稿では,バリアレス適応型クローズドフォームステアリングにより,これらの問題に対処する,トレーニングフリーなステアリングフレームワークであるBRACSを提案する。
• 参考スコア（独自算出の注目度）: 2.497926557563177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) often hallucinate objects that are not present in the input image, largely because visual grounding weakens as decoding progresses. Existing inference-time mitigation methods modify logits or hidden states throughout generation, but they suffer from three key limitations: they lack an explicit grounding objective, intervene even when the model is already well-grounded, and use fixed correction strengths that do not adapt to the severity of grounding failure. We propose BRACS (Barrier-Regulated Adaptive Closed-form Steering), a training-free steering framework that addresses these issues through barrier-regulated adaptive closed-form steering. BRACS monitors the model's own attention to measure visual grounding and applies corrections to the hidden states only when grounding deteriorates. The corrective update is computed analytically in closed form, requiring no training of auxiliary networks or model retraining. Experiments on LLaVA-1.5-7B and Qwen-VL-Chat show that BRACS consistently outperforms prior methods on hallucination benchmarks, reducing CHAIR$_s$ by 9.4 points and improving POPE F1 by 2.7 points, while matching or improving performance on four general multimodal benchmarks. BRACS also remains efficient, operating at 80% of greedy decoding throughput and achieving 1.3 times higher speed on average than the baselines.
• Abstract（参考訳）: 大規模な視覚言語モデル (LVLM) は、しばしば入力画像に存在しない物体を幻覚させる。 既存の推論時間緩和法では、世代を通してロジットや隠れた状態を修正しているが、それらは3つの重要な制限に悩まされている。 BRACS(Barrier-Regulated Adaptive Closed-form Steering)は,バリア制御型クローズドフォームステアリングにより,これらの問題に対処するトレーニングフリーステアリングフレームワークである。 BRACSは、視覚的接地を測定するためにモデル自身の注意をモニターし、接地が悪化するときにのみ隠れた状態に修正を適用する。 修正更新は解析的にクローズドな形式で計算され、補助的なネットワークのトレーニングやモデルの再訓練は不要である。 LLaVA-1.5-7B と Qwen-VL-Chat の実験では、BRACS は幻覚ベンチマークの先行手法を一貫して上回り、CHAIR$_s$を9.4ポイント削減し、POPE F1 を2.7ポイント改善した。 また、BRACSは効率も保ち、ゆるやかな復号スループットの80%で動作し、ベースラインよりも平均1.3倍高速である。

関連論文リスト

• DUEL: Adversarial Self-Play for Multimodal Reasoning [16.61891948648537]
  視覚言語モデル(VLM)の推論能力向上のための効果的なパラダイムとして強化学習(RL)が登場した。 本稿では,同じ事前学習VLMから生じる2つのポリシー間の対立的相互作用から,監督が出現する自己進化的ポストトレーニングフレームワークDUELを提案する。 実験によると、DUELは人間のアノテーション、外部報酬モデル、画像編集ツールを使わずに、視覚的推論と堅牢な識別を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-24T00:38:26Z)
• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models [13.32858759983739]
  LVLM(Large Vision-Language Models)は、しばしばオブジェクト幻覚に悩まされ、視覚入力と矛盾するテキストを生成する。 この問題を緩和するための既存の推論時間の介入は、難しいトレードオフをもたらします。 本稿では,LVLMを視覚的に生成するフレームワークであるResidual-Update Directed Decoding Regulation(RUDDER)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T13:29:38Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。