論文の概要: Anchoring What Matters: A Dual-Level Learning Framework for Visually-Grounded Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2609.18057v1
• Date: Wed, 16 Sep 2026 03:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.61948
• Title: Anchoring What Matters: A Dual-Level Learning Framework for Visually-Grounded Multimodal Reasoning
• Title（参考訳）: 重要事項の整理:視覚的マルチモーダル推論のためのデュアルレベル学習フレームワーク
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、大規模視覚言語モデル(LVLM)の推論能力を大幅に向上させた。 標準的なオンラインRLVRアルゴリズムは、視覚的に根ざした推論行動の保存と強化において、重要な最適化のボトルネックに直面している。 PIVOTは、情報的視覚的推論信号に関するポリシー最適化をアンロックする2段階学習フレームワークである。
• 参考スコア（独自算出の注目度）: 22.672953615291874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has significantly improved the reasoning capabilities of large vision-language models (LVLMs). However, standard on-policy RLVR algorithms face a critical optimization bottleneck in preserving and reinforcing visually grounded reasoning behaviors: valuable visually-grounded reasoning trajectories are discarded after a single update, while uniform token advantage allocation prevents the model from reinforcing critical perception or reasoning steps. To bridge this gap, we propose PIVOT, a dual-level learning framework that anchors policy optimization around informative visual reasoning signals. Specifically, PIVOT introduces a self-calibrated experience replay mechanism, which selectively collects and replays visually-grounded historical experiences as stable reference anchors for policy optimization. Building upon this, we further design a vision-guided advantage allocation mechanism to allocate additional vision-aware advantages to tokens based on their local visual support and impact on downstream reasoning. Extensive experiments across diverse benchmarks demonstrate that PIVOT achieves highly competitive performance in enhancing the multimodal reasoning capabilities of LVLMs.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模視覚言語モデル(LVLM)の推論能力を大幅に向上させた。 しかし、標準的なオンラインRLVRアルゴリズムは、視覚的に根ざした推論行動の保存と強化において、重要な最適化のボトルネックに直面している。 このギャップを埋めるために、情報的視覚的推論信号を中心にポリシー最適化を固定する2段階学習フレームワークであるPIVOTを提案する。 具体的には、PIVOTは、ポリシー最適化のための安定した参照アンカーとして、視覚的な歴史的経験を選択的に収集し再生する自己校正体験再生機構を導入する。 これに基づいて、我々は、局所的な視覚的サポートと下流の推論への影響に基づいて、トークンに視覚を意識したアドバンテージを割り当てるための、視覚誘導によるアドバンテージアロケーション機構をさらに設計する。 様々なベンチマークによる大規模な実験により、PIVOTはLVLMのマルチモーダル推論能力の向上において高い競争力を発揮することが示された。

関連論文リスト

• Reflection Anchors for Propagation-Aware Visual Retention in Long-Chain Multimodal Reasoning [13.390348642117557]
  ロングチェーン・オブ・ソート(CoT)推論は、大きな視覚依存モデルを改善するが、生成時に視覚情報が消えることが多い。 既存の方法は、視覚推論を再注入するか、より強力な接地のためのポリシーを訓練する。 我々はこの問題を情報理論の観点から研究し、ワンステップ介入による下流の視覚的利得の低い境界を導出する。
  論文  参考訳（メタデータ） (2026-05-10T15:53:11Z)
• Visually-Guided Policy Optimization for Multimodal Reasoning [60.035908460318126]
  本稿では,VGPO(Visually-Guided Policy Optimization)を提案する。 VGPOは当初、視覚的類似性を活用して視覚的手がかりをローカライズし増幅する視覚的注意補償機構を導入した。 VGPOは、数学的多モーダル推論や視覚依存タスクにおいて、より優れた視覚的活性化と優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-04-10T14:22:38Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR [30.94808389410323]
  Trajectory-Guided Reinforcement Learningは、視覚的証拠をきめ細かな推論プロセスに統合するためのポリシーモデルを導く。 複数のマルチモーダル推論ベンチマークの実験は、TGRLが一貫して推論性能を改善することを示した。
  論文  参考訳（メタデータ） (2026-03-27T07:18:18Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs [55.61018839017648]
  CoT(Chain-of- Thought)推論は、複雑な推論タスクにおいて、MLLM(Multimodal large language model)を大幅に改善した。 既存のアプローチは、主に長いテキスト推論軌道に依存し、安定した視覚的注意ポリシーを学ぶための限られたメカニズムを提供する。 地域レベルの視覚的注意に基づく報酬を導入する強化学習フレームワークを用いて訓練された視覚的推論モデルであるSAYOを提案する。
  論文  参考訳（メタデータ） (2026-02-09T03:33:23Z)
• Spotlight on Token Perception for Multimodal Reinforcement Learning [65.97597482517425]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力を向上した。 本稿では,トークン認識の新しい視点を通して,マルチモーダルRLVRの先駆的な探索を行う。 本稿では、トークン認識を明示的に活用して学習信号を洗練する新しいポリシー勾配アルゴリズムである視覚知覚政策最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T11:25:33Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。