論文の概要: $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts

• arxiv url: http://arxiv.org/abs/2603.10848v1
• Date: Wed, 11 Mar 2026 14:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:33.013127
• Title: $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts
• Title（参考訳）: V_{0.5}$:スパースRLロールアウトの先行値としてのジェネリスト値モデル
• Authors: Yi-Kai Zhang, Yueqing Sun, Hongyan Hao, Qi Gu, Xunliang Cai, De-Chuan Zhan, Han-Jia Ye,
• Abstract要約: 一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 81.48669089692189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Reinforcement Learning with Verifiable Rewards (RLVR), constructing a robust advantage baseline is critical for policy gradients, effectively guiding the policy model to reinforce desired behaviors. Recent research has introduced Generalist Value Models (such as $V_0$), which achieve pre-trained value estimation by explicitly encoding model capabilities in-context, eliminating the need to synchronously update the value model alongside the policy model. In this paper, we propose $V_{0.5}$, which adaptively fuses the baseline predicted by such value model (acting as a prior) with the empirical mean derived from sparse rollouts. This constructs a robust baseline that balances computational efficiency with extremely low variance. Specifically, we introduce a real-time statistical testing and dynamic budget allocation. This balances the high variance caused by sparse sampling against the systematic bias (or hallucinations) inherent in the value model's prior. By constructing a hypothesis test to evaluate the prior's reliability in real-time, the system dynamically allocates additional rollout budget on demand. This mechanism minimizes the baseline estimator's Mean Squared Error (MSE), guaranteeing stable policy gradients, even under extreme sparsity with a group size of 4. Extensive evaluations across six mathematical reasoning benchmarks demonstrate that $V_{0.5}$ significantly outperforms GRPO and DAPO, achieving faster convergence and over some 10% performance improvement.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)において、堅牢な有利なベースラインを構築することは、政策勾配にとって重要であり、望ましい行動を強化するための政策モデルを効果的に導く。 最近の研究はジェネリスト値モデル(例えば$V_0$)を導入し、コンテキスト内でモデル機能を明示的にエンコードすることで事前訓練された値推定を実現し、ポリシーモデルと並行してバリューモデルを同期的に更新する必要がない。 本稿では,このような値モデルによって予測されるベースラインを,スパースロールアウトから導出される経験的平均値と適応的に融合する$V_{0.5}$を提案する。 これは、計算効率と非常に低い分散のバランスをとる頑健なベースラインを構成する。 具体的には,リアルタイム統計テストと動的予算配分を導入する。 これは、価値モデルの先行に固有の体系的バイアス(あるいは幻覚)に対してスパースサンプリングによって引き起こされる高分散のバランスをとる。 仮説テストを構築し、事前の信頼性をリアルタイムで評価することにより、システムは必要に応じて追加のロールアウト予算を動的に割り当てる。 このメカニズムは、基底線推定器の平均正方形誤差(MSE)を最小化し、グループサイズが4の極端な間隔でも安定した政策勾配を保証する。 V_{0.5}$はGRPOとDAPOを著しく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。

関連論文リスト

• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs [19.079556051442168]
  強化学習(Reinforcement Learning, RL)は、推論タスクにおける大規模言語モデルの改善に広く用いられている。 しかし、REINFORCE や GRPO のような広く採用されている批判のない政策段階的手法では、高い非同期性によって政策段階的推定器は明らかにノイズを生じさせる。 本稿では,REINFORCE/GRPOスタイルのアルゴリズムの安定化手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T18:40:51Z)
• Fault-Tolerant Evaluation for Sample-Efficient Model Performance Estimators [13.227055178509524]
  本稿では, バイアスと分散を考慮した耐障害性評価フレームワークを提案する。 我々は、$varepsilon$の適切なキャリブレーションにより、異なる分散状態の信頼性が保証されることを示す。 実世界のデータセットの実験は、我々のフレームワークが推定器の振る舞いに関する包括的で実行可能な洞察を提供することを示した。
  論文  参考訳（メタデータ） (2026-02-06T22:14:46Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
  ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。 このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。 未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:35:23Z)
• Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
  本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。 R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-06T14:01:42Z)
• Conservative Bayesian Model-Based Value Expansion for Offline Policy Optimization [41.774837419584735]
  オフライン強化学習(英語版) (RL) は、ある行動ポリシーに従って収集された固定されたデータのバッチからパフォーマンスポリシーを学習する問題に対処する。 モデルベースのアプローチは、環境のモデルを学ぶことによって、ログ化されたデータセットからより多くの学習信号を抽出できるため、特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-07T20:13:50Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。