Fugu-MT 論文翻訳(概要): Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training

論文の概要: Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training

arxiv url: http://arxiv.org/abs/2610.37429v1
Date: Tue, 27 Oct 2026 15:41:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-28 21:04:31.678442
Title: Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training
Title（参考訳）: GRPOトレーニングを支援するロールアウトアロケーションのためのベイズ適応型MDP
Abstract要約: グループ相対政策最適化(GRPO)は,LLMポストトレーニングにおいて高い性能を示した。均一なロールアウト予算をトレーニングのすべての問題に割り当て、問題の難易度を無視する。本稿では,逐次的意思決定問題としてロールアウト割り当てを再構成したAdaRoll-GRPOを提案する。
参考スコア（独自算出の注目度）: 33.2034272523476
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Group Relative Policy Optimization (GRPO) has demonstrated strong performance in LLM post-training. However, it allocates a uniform rollout budget to every training question, ignoring variations in question difficulty. As a result, highly difficult questions may receive too few rollouts to generate informative positive reward signals, limiting their contribution to training, while moderately difficult questions often receive more rollouts than necessary. In this work, we formulate the problem of difficulty-aware rollout budget allocation to maximize training utility under the same total rollout budget as standard GRPO. We propose AdaRoll-GRPO, which reformulates rollout allocation as a sequential decision-making problem and leverages a Bayes-adaptive Markov decision process (MDP) to learn an adaptive allocation policy. The learned policy is computed offline and applied during GRPO training without introducing additional online optimization overhead. Extensive experiments on multiple reasoning datasets and LLM architectures demonstrate that AdaRoll-GRPO consistently improves GRPO training performance under a fixed rollout budget, highlighting the effectiveness of adaptive rollout allocation for GRPO in LLM post-training.
Abstract（参考訳）: グループ相対政策最適化(GRPO)は,LLMポストトレーニングにおいて高い性能を示した。しかし、トレーニングの難しさのバリエーションを無視して、トレーニングのすべての問題に均一なロールアウト予算を割り当てている。結果として、非常に難しい質問は、情報的肯定的な報奨信号を生成するためにロールアウトが少なすぎる場合があり、トレーニングへの貢献を制限する一方で、適度に難しい質問は、必要以上にロールアウトを受けることが多い。本研究では,標準的なGRPOと同じ総ロールアウト予算の下で,トレーニングユーティリティを最大化するために,使い難いロールアウト予算割り当ての問題を定式化する。本稿では,AdaRoll-GRPOを提案する。AdaRoll-GRPOは,ロールアウトアロケーションを逐次決定問題として再構成し,ベイズ適応マルコフ決定プロセス(MDP)を活用してアダプティブアロケーションポリシを学習する。学習したポリシーはオフラインで計算され、GRPOトレーニング中に追加のオンライン最適化オーバーヘッドを導入することなく適用される。複数の推論データセットとLLMアーキテクチャに関する大規模な実験により、AdaRoll-GRPOは、固定的なロールアウト予算の下でGRPOトレーニング性能を一貫して改善し、LLM後トレーニングにおけるGRPOの適応的なロールアウトアロケーションの有効性を強調した。

関連論文リスト

Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR)
論文参考訳（メタデータ） (2026-07-24T06:04:04Z)
Cross-Epoch Adaptive Rollout Optimization for RL Post-Training [5.459625245330074]
LLMポストトレーニングは、しばしばプロンプト毎に複数のロールアウトをサンプリングする強化学習手法に依存している。既存のほとんどのアプローチでは、トレーニング信号に大きな違いがあるにも関わらず、すべてのプロンプトに対して固定的なロールアウト予算を使用している。我々は、固定されたグローバル予算の下でのアダプティブ・ロールアウト・アロケーションについて検討し、即時還元リターンを伴うオンラインリソースアロケーションとして問題を定式化する。
論文参考訳（メタデータ） (2026-06-04T02:27:51Z)
Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文参考訳（メタデータ） (2026-05-12T03:20:24Z)
Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文参考訳（メタデータ） (2026-03-04T14:48:53Z)
WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
論文参考訳（メタデータ） (2026-02-19T02:43:35Z)
Jackpot: Optimal Budgeted Rejection Sampling for Extreme Actor-Policy Mismatch Reinforcement Learning [31.843129392507716]
Jackpotは、ポリシーとロールアウトモデルを共同で更新する統合トレーニング目標を統合するフレームワークである。我々の理論的分析は、OBRSが制御可能な受理予算の下で、目標分布に近いロールアウト分布を一貫して移動していることを示している。
論文参考訳（メタデータ） (2026-02-05T18:57:01Z)
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs [31.371566320424552]
CoBA-RLは、モデルの進化能力に基づいて、ロールアウト予算を適応的に割り当てるように設計された強化学習アルゴリズムである。我々のアプローチは、探索と搾取の間のトレードオフを効果的に編成し、一貫した一般化の改善を提供する。
論文参考訳（メタデータ） (2026-02-03T03:14:36Z)
On-Policy RL with Optimal Reward Baseline [109.47676554514193]
On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。 OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
論文参考訳（メタデータ） (2025-05-29T15:58:04Z)
Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文参考訳（メタデータ） (2025-04-18T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。