論文の概要: BV-Blend: Uncertainty-Weighted Historical Baselines for Stable Critic-Free RL with Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2606.28707v1
- Date: Sat, 27 Jun 2026 03:25:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.661072
- Title: BV-Blend: Uncertainty-Weighted Historical Baselines for Stable Critic-Free RL with Verifiable Rewards
- Title（参考訳）: BV-Blend:検証可能なリワード付き安定批評家フリーRLのための不確実性重み付き歴史ベースライン
- Abstract要約: 検証可能な報酬(RLVR)による批判のない強化学習は、価値関数(批判)のトレーニングを回避し、メモリと計算オーバーヘッドを低減する。
GRPOスタイルの利点推定は、プロンプト局所(プロンプト群を含む)報酬統計に依存し、不安定である。
本稿では,BV-Blendについて紹介する。BV-Blendは,局所的な地方統計と意味クラスタ条件の歴史的モーメントを組み合わせることで,利点推定を安定化するフレームワークである。
- 参考スコア（独自算出の注目度）: 17.873016968298483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Critic-free reinforcement learning with verifiable rewards (RLVR), exemplified by Group Relative Policy Optimization (GRPO), avoids training a value function (critic) and reduces memory and compute overhead relative to critic-based PPO pipelines for aligning large language models. However, GRPO-style advantage estimation depends on prompt-local (within-prompt-group) reward statistics and can be unstable. In particular, when all rollouts in a prompt group receive identical rewards, the within-group reward variance becomes zero, and group normalization yields zero advantages for that group, impeding learning in cold-start regimes with binary verifiers. We introduce BV-Blend, a critic-free framework that stabilizes advantage estimation by combining prompt-local on-policy statistics with semantic-cluster-conditioned historical moments. BV-Blend maintains EMA-tracked reward moments for each cluster, derives a confidence weight from a standard error of the mean (SEM) proxy, and uses this weight to blend historical and prompt-local baseline and variance statistics into a standardized advantage for PPO-style clipped updates. Experiments on verifiable reasoning benchmarks show that BV-Blend improves training stability and performance, and remains robust in regimes where group-normalized methods may stall.
- Abstract（参考訳）: Group Relative Policy Optimization (GRPO)によって実証された、検証可能な報酬付き批判なし強化学習(RLVR)は、価値関数(批判的)のトレーニングを回避し、大規模な言語モデルの整合化のための批評家ベースのPPOパイプラインと比較して、メモリと計算オーバーヘッドを低減する。
しかし、GRPOスタイルの利点推定はプロンプト局所(プロンプト群を含む)報酬統計に依存するため不安定である。
特に、プロンプト群のすべてのロールアウトが同じ報酬を受けるとき、群内報酬分散はゼロとなり、群正規化はその群に対してゼロの利点をもたらす。
本稿では,BV-Blendについて紹介する。BV-Blendは,局所的な地方統計と意味クラスタ条件の歴史的モーメントを組み合わせることで,利点推定を安定化するフレームワークである。
BV-Blendは、各クラスタに対するEMA追跡された報酬モーメントを維持し、平均(SEM)プロキシの標準エラーから信頼度を導出し、この重みを使って、歴史的および急激な局所的ベースラインと分散統計を、PPOスタイルのクリップアップ更新の標準化された利点にブレンドする。
検証可能な推論ベンチマークの実験は、BV-Blendがトレーニングの安定性と性能を改善し、グループ正規化手法が停止する可能性のある状況下では、堅牢であることを示している。
関連論文リスト
- Best Practice Critic Optimization [23.2221736020451]
批判に基づくトレーニングのレシピは、しばしば不安定である。
DPPO,報酬範囲に束縛された値予測,モンテカルロ値の目標,非正規化ポリシの優位性,長さ適応型汎用的優位性推定を組み合わせたレシピを開発した。
論文 参考訳（メタデータ） (2026-08-24T17:59:39Z) - Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。
我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-29T00:19:09Z) - RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。
我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。
我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
論文 参考訳（メタデータ） (2026-07-20T19:40:25Z) - VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。
アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。
本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:44:12Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。
ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。
ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-13T04:02:36Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization [21.901326490738242]
経験的ベイズ政策最適化(EBPO)は、この政策の蓄積したグローバル統計から強みを借りることで、地域グループベースのベースラインを規則化する新しいフレームワークである。
EBPOは, 平均二乗誤差(MSE), 有界エントロピー崩壊, 非消滅ペナルティ信号の障害シナリオで厳格に低い値を保証する。
特に、EBPOは訓練安定性が優れ、小グループでも高性能なゲインを実現している。
論文 参考訳（メタデータ） (2026-02-05T00:33:02Z) - From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。
RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2026-01-30T15:07:06Z) - Your Group-Relative Advantage Is Biased [74.57406620907797]
グループベースの学習手法は、学習評論家を避けるためにグループ相対的な優位性推定に依存する。
群相対的優位推定器は、真の(予想された)優位性に対して本質的に偏りがある。
適応的再重み付け方式であるヒストリー・アウェア適応困難度重み付け(HA-DW)を提案する。
論文 参考訳（メタデータ） (2026-01-13T13:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。