論文の概要: iVGR: Internalizing Visually Grounded Reasoning for MLLMs with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.31096v1
• Date: Fri, 29 May 2026 10:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.527297
• Title: iVGR: Internalizing Visually Grounded Reasoning for MLLMs with Reinforcement Learning
• Title（参考訳）: iVGR:強化学習によるMLLMのための視覚的接地推論の内部化
• Abstract要約: 大規模言語モデル(MLLM)における微粒化知覚を高めるための,将来性のあるパラダイムとして,視覚的基盤を持つChain-of-Thought(CoT)が登場した。 推論中に視覚的に接地されたCoTで明示的なオブジェクトボックスを強制すると、標準的なCoTよりも性能が低下する。 テキスト推論プロセスにローカライズ機能を伝達する新しい強化学習フレームワークであるtextbfiVGR(Internalizing Visually Grounded Reasoning)を提案する。
• 参考スコア（独自算出の注目度）: 35.83366559347647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While visually grounded Chain-of-Thought (CoT) has emerged as a promising paradigm to enhance fine-grained perception in multimodal large language models (MLLMs), its efficacy during the inference phase remains underexplored. In this work, we empirically find that mandating explicit object boxes in visually grounded CoT during inference often degrades performance compared to standard textual CoT, which reasons without explicit visual grounding. We hypothesize that the visual localization capability can be internalized into the textual CoT and that the mandatory explicit grounding introduces unnecessary interference with the model's primary objective of answer prediction. To address this problem, we propose Internalizing Visually Grounded Reasoning (\textbf{iVGR}), a novel reinforcement learning framework that transfers localization capabilities into the textual reasoning process. We employ a dual-stream training strategy, where a textual stream is aligned with a high-quality visually grounded stream via a proposed consistency reward, enabling the model to localize accurately without explicit grounding during inference. Extensive experiments demonstrate that our method significantly outperforms existing baselines on fine-grained benchmarks, while maintaining the flexibility to support tool-assisted inference workflows.
• Abstract（参考訳）: CoT(Chain-of-Thought)はマルチモーダルな大規模言語モデル(MLLM)における微粒化知覚を高めるための有望なパラダイムとして登場したが、推論フェーズにおけるその有効性は未解明のままである。 本研究は,視覚的に接地されたCoTで明示的なオブジェクトボックスを強制的に操作すると,通常テキストのCoTに比べて性能が劣化することが多いことを実証的に見出した。 我々は,視覚的局所化能力がテキストCoTに内在化可能であることを仮定し,強制的明示的基盤化は,モデルの主目的である回答予測に不要な干渉をもたらすことを仮定する。 この問題に対処するため,テキスト推論プロセスにローカライズ機能を伝達する新しい強化学習フレームワークである,ビジュアルグラウンドド推論(\textbf{iVGR})の内在化を提案する。 提案手法では,テキストストリームを高品質な視覚的接地ストリームに整列させることにより,提案した整合性報酬によって,推論中に明示的な接地を伴わずに,モデルが正確に位置決めできるような2重ストリームトレーニング戦略を採用している。 本手法は,ツール支援推論ワークフローをサポートする柔軟性を維持しつつ,詳細なベンチマークで既存のベースラインを大幅に上回ることを示す。

関連論文リスト

• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs [6.111899371682025]
  視覚言語モデルは、テキストCoTの視覚的情報損失により、複雑な視覚的推論に苦しむことが多い。 我々は,強化潜在推論フレームワークである"Decompose, Look, and Reason"(DLR)を提案する。 ビジョン中心のベンチマークの実験では、DLRは一貫して強いベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-08T18:52:27Z)
• ACT Now: Preempting LVLM Hallucinations via Adaptive Context Integration [71.21097024566285]
  LVLM(Large-Language Models)はしばしば深刻な幻覚に悩まされる。 既存の緩和戦略は、視覚的焦点を強化するか、強い先行を抑えるために、言語的、単一段階の状態に依存している。 本研究では,適応的な文脈情報の統合を通じて幻覚を緩和する学習自由推論介入手法であるAdaptive Context in VisionTegration (ACT)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:49:50Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Context-Informed Grounding Supervision [102.11698329887226]
  コンテキストインフォームド・グラウンド(Context-Informed Grounding Supervision, CINGS)は、モデルが応答に先立って関連するコンテキストでトレーニングされる訓練後の監督である。 実験により, CINGSで訓練したモデルでは, テキスト領域と視覚領域の両方において, より強い基底が示されることがわかった。
  論文  参考訳（メタデータ） (2025-06-18T14:13:56Z)
• Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing [62.447497430479174]
  空間における推論への描画は、視覚空間における基本的な描画操作を通じてLVLMを推論できる新しいパラダイムである。 我々のモデルはVILASRと呼ばれ、様々な空間推論ベンチマークで既存の手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-11T17:41:50Z)
• Ground-R1: Incentivizing Grounded Visual Reasoning via Reinforcement Learning [96.01617809845396]
  Ground-R1は、明示的なエビデンスや合理的アノテーションを必要とせずに、基礎的な視覚的推論を可能にする強化学習フレームワークである。 グラウンドR1は優れた性能を示し、不確実性認識、空間認識、反復的洗練などの創発的な認知行動を示す。
  論文  参考訳（メタデータ） (2025-05-26T17:51:47Z)
• Causality-based Cross-Modal Representation Learning for Vision-and-Language Navigation [15.058687283978077]
  VLN(Vision-and-Language Navigation)は、現実のシナリオに応用される可能性から、近年、大きな研究の関心を集めている。 既存のVLN法は、急激な関連の問題に苦慮し、その結果、目に見える環境と目に見えない環境の間に大きな性能差があるような一般化が不十分になる。 本稿では,因果学習パラダイムに基づく統一的なフレームワークCausalVLNを提案する。
  論文  参考訳（メタデータ） (2024-03-06T02:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。