論文の概要: Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs
- arxiv url: http://arxiv.org/abs/2606.26387v1
- Date: Wed, 24 Jun 2026 21:12:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.084323
- Title: Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs
- Title（参考訳）: 静止VIGILant:MLLMにおける対実視覚アライメントによる視覚遅延の軽減
- Abstract要約: MLLM(Multimodal large language model)は、大きな言語モデル(LLM)を視覚的に拡張し、画像やテキストに対する共同推論を可能にする。
機械学的な研究は、この弱点が視覚的な怠慢に由来することを示唆している。
本稿では,視覚情報ゲイン・イン・アライメント(VIGIL)を提案する。
- 参考スコア（独自算出の注目度）: 34.999900039604846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) extend large language models (LLMs) with visual perception, enabling joint reasoning over images and text. Despite inheriting strong reasoning capabilities from LLMs, they remain prone to hallucinations that contradict their visual inputs. Mechanistic studies indicate that this weakness stems from visual laziness: MLLMs encode the correct visual evidence internally, but overly rely on strong language priors during response. Existing alignment methods, such as direct preference optimization, primarily optimize outcome-level rewards based on text. This introduces an optimization bias toward linguistic shortcuts, leading to responses that often contradict the visual evidence. To address this, we propose Visual Information Gain In aLignment (VIGIL), a reinforcement-learning (RL) post-training framework that shifts the focus from numerical reward fitting to causal visual grounding. VIGIL introduces a geometric constraint that explicitly maximizes the mutual information between the visual input and the generated response. We achieve this by penalizing "blind confidence" instances where the model remains improperly certain even when textual-visual attention is masked to create a counterfactual blind state. Extensive experiments show that VIGIL consistently outperforms recent alignment methods across hallucination and reasoning benchmarks without compromising text-only capabilities. Our approach matches the full-data performance of state-of-the-art methods using only 25% of the preference data and even demonstrates emergent spatial grounding capabilities without explicit bounding box supervision.
- Abstract（参考訳）: MLLM(Multimodal large language model)は、大きな言語モデル(LLM)を視覚的に拡張し、画像やテキストに対する共同推論を可能にする。
LLMから強い推論能力を受け継いだにもかかわらず、視覚的な入力と矛盾する幻覚を呈する傾向にある。
MLLMは正しい視覚的証拠を内部でエンコードするが、応答中に強い言語に過度に依存している。
直接選好最適化などの既存のアライメント手法は、主にテキストに基づいて結果レベルの報酬を最適化する。
これは言語的ショートカットに対する最適化バイアスを導入し、しばしば視覚的証拠と矛盾する応答をもたらす。
これを解決するために,強化学習(RL)後学習フレームワークであるVisual Information Gain In aLignment (VIGIL)を提案する。
VIGILは、視覚入力と生成された応答の間の相互情報を明示的に最大化する幾何学的制約を導入する。
我々は,テキスト・視覚的注意が隠蔽された場合でも,モデルが不適切な確証を保っている「盲信」インスタンスをペナルティ化し,偽の視覚的ブラインド状態を生成する。
大規模な実験により、VIGILはテキストのみの能力を損なうことなく、幻覚や推論ベンチマークの最近のアライメント手法を一貫して上回っていることがわかった。
提案手法は,好みデータの25%のみを用いて,最先端手法の完全なデータ性能と一致し,明示的な境界ボックス監督を伴わずに創発的な空間接地能力を示す。
関連論文リスト
- When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。
HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
論文 参考訳（メタデータ） (2026-04-23T17:54:36Z) - Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance [31.7541034166056]
LVLM(Large Vision-Language Models)は、画像テキスト入力から効果的に推論し、様々なマルチモーダルタスクでうまく機能する。
彼らは言語の先行性に影響され、しばしば幻覚を生じさせる。
この問題に対処するためにResidual Decoding (ResDec)を提案する。
論文 参考訳（メタデータ） (2026-02-01T06:12:05Z) - Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。
既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。
我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
論文 参考訳（メタデータ） (2026-01-11T08:25:34Z) - Look Closer! An Adversarial Parametric Editing Framework for Hallucination Mitigation in VLMs [6.645440928271175]
Visionivate-Language Models (VLM)は、有望な実用的な応用のために、AIコミュニティで注目を集めている。
近年の研究では、これらの幻覚はVLMの言語的先行性への過度な依存と視覚的特徴統合の欠如に起因している。
本稿では,textbfActtextbfLocate-textbfEdit textbfAdversarially Parametric editing framework for Hallucination mitigation inVLMsを提案する。
論文 参考訳（メタデータ） (2025-12-26T11:56:45Z) - Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。
視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。
広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
論文 参考訳（メタデータ） (2025-09-29T17:59:57Z) - Self-Rewarding Vision-Language Model via Reasoning Decomposition [49.784411666601905]
VLM(Vision-Language Models)はしばしば視覚幻覚に悩まされ、実際に画像にないものや言語ショートカットが語られる。
本稿では,外部視覚監督に頼らずに視覚推論を改善する自己回帰手法であるVision-SR1を紹介する。
我々の実験は、Vision-SR1が視覚的推論を改善し、視覚幻覚を緩和し、言語ショートカットへの依存を減らすことを示した。
論文 参考訳（メタデータ） (2025-08-27T08:01:03Z) - ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。
ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
論文 参考訳（メタデータ） (2025-06-11T19:16:54Z) - VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において顕著な機能を示す。
彼らはしばしば、幻覚として知られる視覚的内容が正確に反映されていないように思われる応答を生成する。
近年のアプローチでは、推論段階における復号化戦略を調整することで幻覚を緩和するための訓練不要な手法が導入されている。
textbfVisutextbfal textbfLayer Fustextbfion textbfD
論文 参考訳（メタデータ） (2024-11-24T13:42:02Z) - Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。
LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。
MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
論文 参考訳（メタデータ） (2024-11-21T16:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。