論文の概要: CERO: Where and When to Allocate Rollouts for RL Post-Training

• arxiv url: http://arxiv.org/abs/2610.09679v1
• Date: Wed, 07 Oct 2026 08:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.810059
• Title: CERO: Where and When to Allocate Rollouts for RL Post-Training
• Title（参考訳）: CERO:RLポストトレーニングのロールアウトをいつ、どこでアロケートするか
• Abstract要約: CEROはオンラインのプリミティブな双対スケジューラで、入場と予算の合理化を迅速に行う。 CEROはどのプロンプトが選択されるか、どれくらいの頻度でラウンド間で再検討されるか、各ラウンドでどれだけのグループが生成されるかに適応する。 一致したトレーニング-レスポンスの予算の下で、CEROは5つの数学的推論ベンチマークで3つのバックボーンのそれぞれで、avg@16マクロ平均を達成している。
• 参考スコア（独自算出の注目度）: 11.146542040782622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive rollout methods for group-relative reinforcement learning typically allocate a fixed per-update budget across prompts. We instead study how to coordinate a finite rollout budget over the entire training horizon. We formulate this problem using a concave surrogate utility of cumulative prompt exposure and introduce CERO, an online primal dual scheduler for prompt admission and budget pacing. In our experiments, each admitted prompt receives a fixed-size response group. CERO instead adapts which prompts are selected, how often they are revisited across rounds, and how many groups are generated in each round. A compact Fenchel representation linearizes the dependence on cumulative exposure, while projected online gradient descent updates prompt-specific supporting slopes and a shared budget price using reward-variation feedback and budget deviations. We establish pathwise guarantees for the surrogate allocation objective against fixed-rate and same-path time-varying benchmarks, with explicit terms for proxy discrepancy and rate variation. Under matched training-response budgets, CERO attains the highest avg@16 macro-average on each of three backbones across five mathematical reasoning benchmarks. Mechanistic analyses link CERO's prompt choices to within-group reward contrast, while multi-seed ablations show gains from adaptive pacing over both uniform and preset spending schedules.
• Abstract（参考訳）: グループ相対的な強化学習のための適応的なロールアウト手法は、通常、プロンプトをまたいだ固定された更新毎の予算を割り当てる。 代わりに、トレーニングの全体にわたって、有限のロールアウト予算を調整する方法を研究します。 本稿では,この問題を累積的即時露光のコンケーブ・サロゲート・ユーティリティを用いて定式化し,即時入場と予算削減のためのオンラインプリミティブ・デュアルスケジューラであるCEROを導入する。 実験では,それぞれが一定サイズの応答群を受信する。 CEROは、どのプロンプトが選択され、どの頻度でラウンドにまたがって更新されるか、各ラウンドでどれだけのグループが生成されるかに適応する。 コンパクトなフェンシェル表現は累積露光への依存を線形化し、オンライン勾配降下は、即時特有の支持斜面と、報酬偏差フィードバックと予算偏差を用いた共有予算価格を更新する。 我々は、プロキシの差分とレートの変動を明示した条件で、固定レートと同一パスの時間変化ベンチマークに対するサロゲート割り当て目標のパスワイズ保証を確立する。 一致したトレーニング-レスポンスの予算の下で、CEROは5つの数学的推論ベンチマークで3つのバックボーンのそれぞれで、avg@16マクロ平均を達成している。 機械的解析はCEROの迅速な選択をグループ内報酬のコントラストに結びつける一方、マルチシードのアブリケーションは、均一およびプリセットされた支出スケジュールよりも適応的なペアリングによる利益を示す。

関連論文リスト

• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Cross-Epoch Adaptive Rollout Optimization for RL Post-Training [5.459625245330074]
  LLMポストトレーニングは、しばしばプロンプト毎に複数のロールアウトをサンプリングする強化学習手法に依存している。 既存のほとんどのアプローチでは、トレーニング信号に大きな違いがあるにも関わらず、すべてのプロンプトに対して固定的なロールアウト予算を使用している。 我々は、固定されたグローバル予算の下でのアダプティブ・ロールアウト・アロケーションについて検討し、即時還元リターンを伴うオンラインリソースアロケーションとして問題を定式化する。
  論文  参考訳（メタデータ） (2026-06-04T02:27:51Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training [34.81218483901967]
  強化学習は、大規模言語モデルの訓練後において支配的なパラダイムである。 グループベースのポリシー最適化手法は、プロンプト毎に複数のロールアウトから利点を計算する。 Pilot-Commitは、グループベースのRLポストトレーニングのための、予算対応のロールアウトアロケーションフレームワークである。
  論文  参考訳（メタデータ） (2026-05-26T06:41:13Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR [25.35547462790362]
  グループベースのポリシー最適化手法は通常、各プロンプトに一定数のロールアウトを割り当てる。 我々は、ヒットユーティリティを導入し、提案されたプロンプトの追加アロケーションにおける少なくとも1つのロールアウトが正しいという後続の確率について紹介する。 本研究では,Hit-Utility Optimal Rollout Allocation (HORA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T01:42:25Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。