論文の概要: PEARL: Adaptive Prefill-Decode Execution with Elasticity for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35158v1
• Date: Mon, 28 Sep 2026 13:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:37:04.826353
• Title: PEARL: Adaptive Prefill-Decode Execution with Elasticity for Agentic Reinforcement Learning
• Title（参考訳）: PEARL: エージェント強化学習のための弾力性を考慮した適応型プレフィル・デコード実行
• Abstract要約: 非同期実行とエラスティックGPUリソースはこのステージを加速するが、ロールアウトレプリカを追加するとリターンが減少する。 本稿では,外部資源の弾性,アイドルトレーニングGPUの一時的再利用,適応PD実行を協調するエージェントシステムであるRL PEARLを提案する。 評価の結果,PEARL は LLM 間の固定リソース ROLL のスループットを2.17$-2.79times で達成した。
• 参考スコア（独自算出の注目度）: 12.387079374338917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn rollout dominates the cost of agentic reinforcement learning (RL). Asynchronous execution and elastic GPU resources can accelerate this stage, but adding rollout replicas yields diminishing returns while training GPUs remain idle between updates. We observe that effective resource use also depends on the prefill--decode (PD) configuration. Both the choice between colocation and disaggregation and the optimal PD ratio vary with the workload, making resource scaling and PD configuration interdependent. Exploiting this opportunity requires selecting effective configurations and realizing their benefits within transient resource-availability windows despite reconfiguration costs. We present PEARL, an asynchronous agentic RL system that coordinates external resource elasticity, temporary reuse of idle training GPUs, and adaptive PD execution. PEARL maintains a unified GPU--worker--role state and uses runtime profiles to predict rollout batch completion time, accounting for environment-induced reductions in decode concurrency. It selects the PD mode and ratio under the current GPU budget and translates each decision into an incremental transition plan that minimizes worker and role changes. Cost-aware switching and borrowing policies suppress transitions with insufficient expected benefit while ensuring timely return of training GPUs. Our evaluation show that PEARL achieves $2.17$--$2.79\times$ the throughput of fixed-resource ROLL across different LLMs. Compared with RLBoost+, throughput improves by up to approximately 26.9\% for Qwen3-8B and 36.3\% for Qwen3-30B-A3B.
• Abstract（参考訳）: マルチターンロールアウトはエージェント強化学習(RL)のコストを支配している。 非同期実行とエラスティックGPUリソースはこのステージを加速するが、ロールアウトレプリカを追加するとリターンが減少し、GPUのトレーニングは更新間でアイドル状態になる。 我々は、リソースの有効利用もプリフィル-デコード(PD)構成に依存していることを観察する。 コロケーションとデアグリゲーションの選択と最適なPD比はワークロードによって異なり、リソーススケーリングとPD構成は相互に依存する。 この機会をエクスプロイトするには、効率的な構成を選択し、再設定コストに関わらず、過渡的なリソース可用性ウインドウ内でそのメリットを実現する必要がある。 本稿では,外部リソースの弾性,アイドルトレーニングGPUの一時的再利用,適応PD実行を協調する非同期エージェントRLシステムPEARLを提案する。 PEARLはGPU-Worker-Roleの統一状態を維持し、ランタイムプロファイルを使用してロールアウトのバッチ完了時間を予測する。 現在のGPU予算の下でPDモードと比率を選択し、各決定をインクリメンタルな移行計画に変換し、ワーカーとロールの変更を最小限にする。 コスト対応のスイッチングと借用ポリシは、トレーニングGPUのタイムリーなリターンを確保しながら、期待される利益が不十分なトランジションを抑制する。 評価の結果,PEARL は LLM 間の固定リソース ROLL のスループットに対して 2.17$--2.79 {\displaystyle 2.79\times を達成できた。 RLBoost+と比較して、スループットはQwen3-8Bで26.9\%、Qwen3-30B-A3Bで36.3\%向上している。

関連論文リスト

• TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling [23.31709047414638]
  大規模言語モデルのための強化学習(RL)は、マルチターンエージェントワークロードに向かっている。 この設定では、トレーニングスループットによって測定されるRLトレーニングの成果は、生のGPU占有よりも重要である。 本稿では,連続的タスク・アクター・パイプライニングと弾性資源スケーリングを備えたレジーネス対応弾性RLシステムであるTideRLについて述べる。
  論文  参考訳（メタデータ） (2026-08-11T02:49:33Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。