論文の概要: Reinforcing Multimodal Reasoning via Token-Level Perception-Grounded Advantage Estimation

• arxiv url: http://arxiv.org/abs/2609.39168v1
• Date: Wed, 30 Sep 2026 07:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.388221
• Title: Reinforcing Multimodal Reasoning via Token-Level Perception-Grounded Advantage Estimation
• Title（参考訳）: Token-Level Perception-Grounded Advantage Estimationによるマルチモーダル推論の強化
• Abstract要約: トークンレベルの認識-グラウンドド・アドバンスト推定(TPAE)を提案する。 TPAEは、各トークンの統計的一貫性を正しいロールアウトの視覚-エントロピーパターンと比較することでトークンレベルの利点を推定する。 様々なRLVRフレームワークに統合可能な、きめ細かい監視信号を生成する。
• 参考スコア（独自算出の注目度）: 25.240854955272912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has improved the reasoning capabilities of Multimodal Large Language Models (MLLMs), yet existing frameworks rely on coarse, sequence-level reward signals that lack the fine-grained supervision over the visually-grounded steps within a multimodal reasoning chain. We investigate this gap through the lens of two token-level metrics: visual dependency (i.e. how much a token's prediction relies on the input image features) and predictive entropy. Our empirical analysis reveals two key findings: (1) correct reasoning chains exhibit a markedly sharper entropy reduction as visual grounding intensifies, compared to incorrect ones; (2) pivotal tokens, those whose misprediction triggers reasoning collapse, are statistical outliers in the joint distribution of visual dependency and predictive entropy derived from correct chains. Motivated by these findings, we propose token-level perception-grounded advantage estimation (TPAE), which estimates token-level advantages by measuring each token's statistical consistency with the vision-entropy patterns of correct rollouts. TPAE leverages this granular score to modulate the sequence-level advantage, producing a fine-grained supervision signal that can be integrated into various RLVR frameworks. Extensive experiments on seven benchmarks show that TPAE consistently outperforms leading strong baselines, yielding more stable and efficient optimization for multimodal reasoning. The code is publicly available at https://github.com/Zhihan72/TPAE.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、MLLM(Multimodal Large Language Models)の推論機能を改善する一方で、既存のフレームワークでは、マルチモーダル推論チェーン内の視覚的なステップに対するきめ細かい監督を欠いた、粗いシーケンスレベルの報酬信号に依存している。 このギャップを、視覚的依存(トークンの予測が入力画像の特徴にどの程度依存しているか)と予測エントロピーという、2つのトークンレベルのメトリクスのレンズを通して調べる。 実験結果から,(1)視覚的接地により顕著なエントロピー低下がみられたこと,(2)視覚的依存と予測エントロピーの同時分布において,誤予測が原因で崩壊が引き起こされる重要なトークンが統計的に外れていること,の2点が明らかになった。 これらの結果から,各トークンの統計的一貫性を正しいロールアウトの視覚-エントロピーパターンと比較することにより,トークンレベルの利点を推定するトークンレベルの認識-グラウンドド・アドバンスト推定(TPAE)を提案する。 TPAEはこのグラニュラースコアを利用してシーケンスレベルの優位性を変調し、様々なRLVRフレームワークに統合可能なきめ細かい監視信号を生成する。 7つのベンチマークの大規模な実験により、TPAEは強い基準線を常に上回り、マルチモーダル推論のより安定で効率的な最適化をもたらすことが示されている。 コードはhttps://github.com/Zhihan72/TPAEで公開されている。

関連論文リスト

• PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping [5.89473045822308]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力向上に有効なパラダイムとなっている。 既存のRLVR法は、全ての生成されたトークンに対して同一の学習信号を割り当てる軌道レベルの結果報酬に依存している。 本稿では,重要な知覚トークンを明確に識別し,強化するトークンレベルの強化学習フレームワークである知覚強化政策最適化(PRPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-07T16:06:29Z)
• Entropy Is Not Enough: Unlocking Effective Reinforcement Learning for Visual Reasoning via Vision-Anchored Token Selection [68.2118210672375]
  VEPO(Vision-Entropy token-selection for Policy Optimization)は,視覚感度とトークンエントロピーを明示的に統合した効果的なRLフレームワークである。 実験の結果,VEPOの先行性能は7Bスケールで2.28点,3Bスケールで3.15点,エントロピーのみのベースラインを著しく上回った。
  論文  参考訳（メタデータ） (2026-06-02T17:26:55Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• Spotlight on Token Perception for Multimodal Reinforcement Learning [65.97597482517425]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力を向上した。 本稿では,トークン認識の新しい視点を通して,マルチモーダルRLVRの先駆的な探索を行う。 本稿では、トークン認識を明示的に活用して学習信号を洗練する新しいポリシー勾配アルゴリズムである視覚知覚政策最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T11:25:33Z)
• Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
  マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
  論文  参考訳（メタデータ） (2025-09-26T04:32:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。