論文の概要: Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.15888v1
• Date: Sun, 11 Oct 2026 20:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.266731
• Title: Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 検証可能なリワードを用いた強化学習のための変数最適状態再サンプリング
• Abstract要約: VSR(Variance-driven State Resampling)は,プレフィックス再生バッファとゼロコスト分散プロキシを用いたGRPOのプラグイン修正である。 VSRはGRPOとGiGPOをほとんどのベンチマークで上回り、更新毎に生成されるトークンは少ない。
• 参考スコア（独自算出の注目度）: 29.011786143431845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards spends much of its rollout budget on states that yield no learning signal. We recast this as a question about the sampling distribution itself: under a fixed rollout budget, which distribution over states minimizes the variance of the policy-gradient estimator? The answer admits a closed-form Neyman allocation, $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$, which connects naturally to GRPO's group-relative advantage and induces an emergent reverse curriculum as the policy improves, with no externally imposed schedule. Building on this principle, we propose VSR (Variance-driven State Resampling), a plug-in modification to GRPO using a prefix replay buffer and a zero-cost variance proxy. On mathematical reasoning benchmarks and long-horizon agentic tasks (Sokoban, BabyAI), VSR outperforms GRPO and GiGPO on most benchmarks with fewer generated tokens per update.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、学習信号が得られない州に対するロールアウト予算の多くを費やしている。 我々はこれを、サンプリング分布そのものに関する質問として再考する: 固定的なロールアウト予算の下で、どの状態上の分布がポリシー勾配推定器の分散を最小化するか? この答えは閉形式のナイマン割当である $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$ を GRPO の群相対的優位性に自然に結び付け、ポリシーが改善するにつれて創発的逆カリキュラムを外部から課されるスケジュールなしで誘導する。 この原理に基づいて,プレフィックス再生バッファとゼロコスト分散プロキシを用いたGRPOへのプラグイン修正であるVSR(Variance-driven State Resampling)を提案する。 数学的推論ベンチマークと長期エージェントタスク(Sokoban, BabyAI)では、VSRはGRPOとGiGPOよりもパフォーマンスが優れ、更新毎に生成されるトークンは少ない。

関連論文リスト

• Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT [3.293184808542474]
  エージェント型大規模言語モデルに対する批判のない強化微調整(RFT)は、GRPOスタイルの手法によって行われることが多い。 批判のないポリシー学習アルゴリズムであるtextitFollow the Winners (FTW) を提案する。 FTWは、グループロールアウトをリプレイバッファサンプルの順序付きフィルタに置き換え、リターンの順序統計で濃度を得る。
  論文  参考訳（メタデータ） (2026-10-02T14:24:06Z)
• Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
  REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。 我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。 任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
  論文  参考訳（メタデータ） (2026-09-29T07:54:06Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States [14.658333957936769]
  内部状態価値推定による政策最適化を導入する。 ポリシーフォワードパス中に既に計算されているポリシーモデルの内部信号を用いて、無視可能なコストでベースラインを得る。 軽量プローブは、プロンプトおよび生成された軌道の隠れ状態から期待される検証可能な報酬を予測する。
  論文  参考訳（メタデータ） (2026-05-08T10:49:36Z)
• Moments Matter:Stabilizing Policy Optimization using Return Distributions [9.430246534202857]
  連続制御タスクでは、小さなパラメータシフトでさえ不安定な歩行を生み出す。 環境に配慮した代替案を提案する。
  論文  参考訳（メタデータ） (2026-01-05T05:27:11Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。