論文の概要: Policy-Adaptive Credit Assignment for Spatial Reasoning with Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2610.26410v1
- Date: Mon, 19 Oct 2026 13:45:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 17:55:30.764402
- Title: Policy-Adaptive Credit Assignment for Spatial Reasoning with Verifiable Rewards
- Title（参考訳）: 検証可能なリワードを考慮した空間推論のためのポリシー適応型クレジットアサインメント
- Abstract要約: 本研究では,SpatialTraceがサポートする適応型プロセス・リワードフレームワークであるCALIPERを提案する。
CALIPERは、段階的参照カバレッジとグループ内リッジ回帰による回答正解の関係を共同で推定する。
解答識別グループが少ない場合、ユーティリティ推定は信頼性が低いため、クローズドループハーネスは、チェックポイントロールバック、ロールアウト多様化、早期停止を誘導するための推定器の信頼性と検証性能を監視する。
- 参考スコア（独自算出の注目度）: 4.791233143264229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-based spatial reasoning requires perception, decomposition, and inference, but the stage that limits accuracy can change during training. Answer-level rewards neither localize failures to individual stages nor provide discriminative group-relative feedback when all rollouts receive the same reward. Process supervision provides intermediate feedback, but fixed weights cannot adapt reward allocation to these changing bottlenecks. To address this gap, we propose CALIPER, an adaptive process-reward framework supported by SpatialTrace, a corpus of stage-decomposed spatial reasoning traces. CALIPER jointly estimates the associations between stage-wise reference coverage and answer correctness through within-group ridge regression, using these associations as utility proxies to gradually update reward weights. The resulting process reward supervises all rollout groups, including uniformly failing ones. Because utility estimates can become unreliable when answer-discriminative groups are scarce, a closed-loop harness monitors estimator reliability and validation performance to guide checkpoint rollback, rollout diversification, and early stopping. Extensive experiments across eight benchmarks and three backbones show that CALIPER achieves the highest mean under both one-shot and harness training, with consistent gains over fixed allocation across RL optimizers. Further analyses confirm the benefits of adaptive reward allocation and harness control, with favorable scaling in model/data size.
- Abstract（参考訳）: 画像に基づく空間推論は知覚、分解、推測を必要とするが、訓練中に精度を制限するステージは変化する。
解答レベルの報酬は、障害を個々のステージにローカライズすることも、すべてのロールアウトが同じ報酬を受ける場合、差別的なグループ相対的なフィードバックを提供することもできない。
プロセスの監督は中間的なフィードバックを提供するが、固定重み付けは、これらの変化するボトルネックに報酬の割り当てを適用することはできない。
このギャップに対処するために,段階分解型空間推論トレースのコーパスであるSpatialTraceがサポートする適応的プロセス・リワードフレームワークであるCALIPERを提案する。
CALIPERは、段階的な参照カバレッジと、グループ内のリッジ回帰による正解率の関連を共同で推定し、これらの関連を実用プロキシとして利用し、報酬重みを徐々に更新する。
結果のプロセス報酬は、均一に失敗するグループを含むすべてのロールアウトグループを監督する。
解答識別グループが少ない場合、ユーティリティ推定は信頼性が低いため、クローズドループハーネスは、チェックポイントロールバック、ロールアウト多様化、早期停止を誘導するための推定器の信頼性と検証性能を監視する。
8つのベンチマークと3つのバックボーンにわたる大規模な実験により、CALIPERは単発トレーニングとハーネストレーニングの両方において、RLオプティマイザ間の固定アロケーションよりも一貫したゲインを達成している。
さらに、適応的な報酬配分とハーネス制御の利点を確認し、モデル/データサイズを適切にスケーリングする。
関連論文リスト
- Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning [16.31353315674833]
検証可能な報酬による強化学習は、マルチモーダルな推論をスケールしますが、結果の報酬は、その価値がそれを生み出した決定に対してどのように広がるべきかではなく、どれだけの軌道が価値があるかを述べています。
本稿では,トークンクレジットを保存されたルーティング問題として扱うResidual Visual Credit Optimization (RVCO)を紹介する。
制御された視覚介入は、トーケン毎のエビデンス応答をもたらし、ロバストな軌道内座標は偶発スケールを除去し、予算付きエントロピールータは、知覚依存に応じて一定の量のシーケンスユーティリティを分散する。
論文 参考訳（メタデータ） (2026-10-04T03:56:38Z) - AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。
AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。
ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-02T12:38:53Z) - FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。
オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。
分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
論文 参考訳（メタデータ） (2026-09-03T00:47:11Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳（メタデータ） (2026-08-04T04:30:02Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。
Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
論文 参考訳（メタデータ） (2026-02-19T02:43:35Z) - ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。
我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。
実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2026-01-10T08:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。