論文の概要: Early Verdicts, Better Budgets: Sequential Adaptive Rollout Allocation for Compute-Efficient RLVR
- arxiv url: http://arxiv.org/abs/2607.26253v1
- Date: Tue, 28 Jul 2026 20:43:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.470368
- Title: Early Verdicts, Better Budgets: Sequential Adaptive Rollout Allocation for Compute-Efficient RLVR
- Title（参考訳）: 早期予測とより良い予算: コンピュータ効率のRLVRのための逐次適応型ロールアウトアロケーション
- Abstract要約: グループの有効性は、ロールアウトの最初の数回で決定されることが多いので、すでに決定済みのプロンプトに全グループで費やすのは無駄です。
有効なグループをコミットし、短時間の調査で飽和したグループを放棄し、新しいプロンプトに解放された予算を再配置する、二段階のSPRT方式のルールを適用した。
我々は, 放棄信頼性, ロールアウト削減, 固定予算利回り支配, 有効群収率とGRPO基準との関係を証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) is bottlenecked by rollout generation, yet many sampled prompts produce saturated groups (all responses correct or all incorrect) whose zero reward variance yields no policy-gradient signal. Existing remedies either oversample a larger candidate pool and discard saturated prompts (dynamic sampling), paying heavy extra rollouts, or predict prompt difficulty before sampling, which is fragile under a shifting policy. We observe that a group's effectiveness is usually decided early, within the first few of its rollouts, so spending a full group on an already-decided prompt is wasteful. We cast per-step rollout collection as a budget-constrained sequential allocation (optimal stopping) problem and introduce SARA (Sequential Adaptive Rollout Allocation). SARA maintains a Beta posterior over each prompt's success rate, evaluates a closed-form predictor of group effectiveness, and applies a two-threshold, SPRT-style rule that commits effective groups, abandons saturated ones after a short probe, and reallocates the freed budget to fresh prompts, without any extra prediction rollouts. We prove abandonment reliability, expected rollout savings, fixed-budget yield dominance, and a link between effective-group yield and the GRPO gradient norm. On mathematical reasoning and planning with 1.5B/3B models on a single GPU, SARA matches DPS (both below the DS oracle) while using 22% fewer rollouts than DS; composing SARA with DPS yields the best accuracy, slightly above DS, at 67% fewer rollouts (near-uniform cost).
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習はロールアウト生成によってボトルネックとなるが、多くのサンプル化されたプロンプトは飽和群(全ての応答が正しいか不正確なか)を生成し、その場合、報酬の分散は政策順応的なシグナルを生じない。
既存の治療法は、より大きな候補プールをオーバーサンプリングし、飽和したプロンプト(ダイナミックサンプリング)を捨てるか、重い追加ロールアウトを支払うか、サンプリング前の急激な困難を予測するかのいずれかであり、これはシフトポリシーの下で脆弱である。
グループの有効性は通常、最初の数回のロールアウトで決定されるので、すでに決定済みのプロンプトに全グループで費やすのは無駄です。
SARA(Sequential Adaptive Rollout Allocation)を導入した。
SARAは、各プロンプトの成功率のベータ後部を維持し、グループの有効性のクローズドフォーム予測器を評価し、有効群をコミットし、短いプローブの後飽和群を放棄し、余分な予測ロールアウトなしに、解放された予算を新しいプロンプトに再配置する2閾値のSPRTスタイルのルールを適用している。
我々は, 放棄信頼性, ロールアウト削減, 固定予算利回り支配, 有効群収率とGRPO勾配基準との関係を証明した。
1つのGPU上の1.5B/3Bモデルによる数学的推論と計画では、SARAはDSよりも22%少ないロールアウトを使用しながらDPSとマッチする。
関連論文リスト
- ThinkPrior: Zero-Rollout Difficulty Priors for Cold-Start Prompt Selection in RLVR [0.38452047300097886]
グループ相対的な利点は、グループ内のすべてのロールアウトが正しいか、すべて間違っている場合、全くゼロである。
歴史に基づくプロンプトの選択は、まず難易度を見積もるために、ターゲティング・ポリティ・ロールアウトに費やさなければならない。
ThinkPriorは、期待される学習可能性によって選択し、トレーニング結果から更新し、損失も勾配も変更しない。
測定されたThinkPrior+DAPO組成は、両方の腕が同じ3840ロールアウト更新予算を維持している間に、生成されたロールアウトを10.6%削減する。
論文 参考訳（メタデータ） (2026-09-08T17:30:12Z) - Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。
我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
論文 参考訳（メタデータ） (2026-07-31T19:05:43Z) - Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
可変ガイドオンラインロールアウトアロケーション(VIGOR)
可変ガイドオンラインロールアウトアロケーション(VIGOR)
可変ガイドオンラインロールアウトアロケーション(VIGOR)
論文 参考訳（メタデータ） (2026-07-24T06:04:04Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Cross-Epoch Adaptive Rollout Optimization for RL Post-Training [5.459625245330074]
LLMポストトレーニングは、しばしばプロンプト毎に複数のロールアウトをサンプリングする強化学習手法に依存している。
既存のほとんどのアプローチでは、トレーニング信号に大きな違いがあるにも関わらず、すべてのプロンプトに対して固定的なロールアウト予算を使用している。
我々は、固定されたグローバル予算の下でのアダプティブ・ロールアウト・アロケーションについて検討し、即時還元リターンを伴うオンラインリソースアロケーションとして問題を定式化する。
論文 参考訳（メタデータ） (2026-06-04T02:27:51Z) - RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning [49.04912820721943]
Group Prioritized Off-Policy Optimization (POPO)は、ロールアウトオーバーヘッドを発生させることなく、効果的なトレーニングバッチを活用するフレームワークである。
POPOは2つの重要なコンポーネントで構成されている。
POPOはRL微細化を著しく加速し、ロールアウトを著しく少なくして強力な推論性能を達成する。
論文 参考訳（メタデータ） (2026-05-31T15:06:38Z) - Leveraging Error Diversity in Group Rollouts for Reinforcement Learning [61.10980882949414]
Reinforcement Learning from Verifiable Rewards (RLVR) は通常、プロンプト毎に複数のレスポンスをサンプリングし、個々の正確性に基づいてバイナリ報酬を割り当てる。
グループ内エラーの多様性に基づいて,不正なロールアウトに対して有利なシグナルを変調するために,EDAS(Error Diversity Advantage Shaping)を提案する。
EDASは、任意のRLVRアルゴリズムにシームレスに統合できるシンプルなポストホック調整として動作する。
論文 参考訳（メタデータ） (2026-05-17T08:52:31Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR [25.35547462790362]
グループベースのポリシー最適化手法は通常、各プロンプトに一定数のロールアウトを割り当てる。
我々は、ヒットユーティリティを導入し、提案されたプロンプトの追加アロケーションにおける少なくとも1つのロールアウトが正しいという後続の確率について紹介する。
本研究では,Hit-Utility Optimal Rollout Allocation (HORA)を提案する。
論文 参考訳（メタデータ） (2026-05-08T01:42:25Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。
この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。
本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
論文 参考訳（メタデータ） (2026-02-02T03:50:01Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳（メタデータ） (2025-04-18T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。