論文の概要: Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.04918v1
- Date: Sun, 04 Oct 2026 03:56:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:55:47.168255
- Title: Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning
- Title（参考訳）: 残留ビジュアルクレジット最適化:マルチモーダル強化学習のための保存されたエビデンスルーティング
- Abstract要約: 検証可能な報酬による強化学習は、マルチモーダルな推論をスケールしますが、結果の報酬は、その価値がそれを生み出した決定に対してどのように広がるべきかではなく、どれだけの軌道が価値があるかを述べています。
本稿では,トークンクレジットを保存されたルーティング問題として扱うResidual Visual Credit Optimization (RVCO)を紹介する。
制御された視覚介入は、トーケン毎のエビデンス応答をもたらし、ロバストな軌道内座標は偶発スケールを除去し、予算付きエントロピールータは、知覚依存に応じて一定の量のシーケンスユーティリティを分散する。
- 参考スコア（独自算出の注目度）: 16.31353315674833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards scales multimodal reasoning, but an outcome reward says how much a trajectory is worth, not how that value should be spread over the decisions that produced it. We introduce Residual Visual Credit Optimization (RVCO), which treats token credit as a conserved routing problem. A controlled visual intervention yields a per-token evidence response; robust within-trajectory coordinates remove incidental scale; and a budgeted entropic router distributes a fixed amount of sequence utility according to perceptual dependence. A residual support path guarantees positive credit at every valid position, and an analytic correction restores the prescribed credit mass exactly. The resulting field is selective, bounded, full-support, and invariant to response-local score shifts, and recovers hard token selection as a limiting case. Across four model families and seven reasoning benchmarks, RVCO improves accuracy over strong RLVR baselines while maintaining late-stage optimization stability, corruption robustness, and competitive training cost. Rewards, rollouts, and the group-relative advantage estimator are unchanged; only the geometry of token-level credit differs.
- Abstract（参考訳）: 検証可能な報酬による強化学習は、マルチモーダルな推論をスケールしますが、結果の報酬は、その価値がそれを生み出した決定に対してどのように広がるべきかではなく、どれだけの軌道が価値があるかを述べています。
本稿では,トークンクレジットを保存されたルーティング問題として扱うResidual Visual Credit Optimization (RVCO)を紹介する。
制御された視覚介入は、トーケン毎のエビデンス応答をもたらし、ロバストな軌道内座標は偶発スケールを除去し、予算付きエントロピールータは、知覚依存に応じて一定の量のシーケンスユーティリティを分散する。
残留支持パスは、有効位置毎に正のクレジットを保証し、分析補正は、所定のクレジット質量を正確に復元する。
結果のフィールドは選択的、有界、完全サポート、応答局所的なスコアシフトに不変であり、制限ケースとしてハードトークンの選択を復元する。
4つのモデルファミリと7つの推論ベンチマークでRVCOは、後期最適化の安定性、破損の堅牢性、競争訓練コストを維持しながら、強力なRLVRベースラインよりも精度を向上させる。
Rewards, rollouts, and the group-relative advantage estimator are changing; only the geometry of token-level credits。
関連論文リスト
- AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。
AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。
ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-02T12:38:53Z) - Semifactual Credit-Augmented Policy Optimization [26.851464193164947]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。
本研究は,基礎となる問題とその答えを保存するための半実的な介入を通して,この感度について検討する。
トークンレベルの信用代入に半実的安定性を組み込んだ半実的信用増資政策最適化(SCAPO)を導入する。
論文 参考訳（メタデータ） (2026-09-30T17:59:56Z) - StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning [3.6795543408370466]
検証可能な報酬(RLVR)を用いた強化学習は,多モーダル推論を改善するための効果的なアプローチとして現れている。
プロセス報酬モデルはよりきめ細かいフィードバックを提供するが、通常は個別に訓練された検証、コストのかかる連鎖アノテーション、あるいは大規模な言語モデルによるオンライン判断に依存している。
我々はStructRewardを紹介した。StructRewardは、構造化されたステップレベルの報酬アライメントを通じて高密度の強化信号を提供する計算効率のフレームワークである。
論文 参考訳（メタデータ） (2026-08-08T20:29:32Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning [3.9783774144289623]
GRPOのような批判のない方法は、応答レベルの報酬を利点に変換し、トークン間で均一にブロードキャストする。
本稿では,高感度トークンのクレジットを低減するGRPOの簡易拡張であるCSCRを提案する。
long-CoTの数学的推論ベンチマークでは、CSCRはGRPOベースラインを同じ数のポリシー更新で一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-30T09:03:33Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳（メタデータ） (2025-12-01T09:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。