論文の概要: Prorsa: Unleashing the Potential of Prefill-Decode Disaggregation in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16592v1
• Date: Mon, 12 Oct 2026 11:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:22:17.903615
• Title: Prorsa: Unleashing the Potential of Prefill-Decode Disaggregation in Agentic Reinforcement Learning
• Title（参考訳）: Prorsa: エージェント強化学習におけるプリフィル・デコード・デコード・デアグリゲーションの可能性
• Abstract要約: 本稿では,予測誘導型プリフィル・デコードリソースアロケーションのためのエージェントRLフレームワークProrsaを提案する。 Prorsaはプリフィル・デコードで1.11x-4.05xのエンド・ツー・エンドのロールアウト高速化を実現する。
• 参考スコア（独自算出の注目度）: 9.17663809079792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic reinforcement learning (RL) is commonly used to enhance the capabilities of large language models (LLMs) in solving complex multi-turn tasks. During rollout, agentic RL exhibits a workload pattern distinct from that of traditional RL: multi-turn interactions repeatedly introduce prefill requests, causing prefill and decode workloads to coexist throughout rollout. This workload makes prefill-decode (PD) disaggregation, a design widely used for online LLM serving, promising for speeding up agentic RL rollout. This paper shows that PD disaggregation can improve rollout efficiency by (a) mitigating interference among data-parallel attention modules, (b) enabling stage-specific parallelism, and (c) reducing end-to-end trajectory completion time. However, a fixed prefill-decode allocation may fail to sustain these benefits as workload composition varies across tasks and over time. We therefore present Prorsa, an agentic RL framework for prediction-guided prefill-decode resource allocation. Prorsa observes the lifecycle of every trajectory to forecast short-horizon prefill and decode demand. These forecasts then guide worker allocation decisions and trigger role switching of rollout engines, aligning prefill and decode capacity with anticipated workload demand. Across synchronous and asynchronous agentic RL settings, Prorsa achieves end-to-end rollout speedups of 1.11x-4.05x over prefill-decode colocation.
• Abstract（参考訳）: エージェント強化学習(RL)は、複雑なマルチターンタスクの解法において、大規模言語モデル(LLM)の能力を高めるために一般的に用いられる。 エージェントRLは、ロールアウト中に、従来のRLとは別のワークロードパターンを示す: マルチターンインタラクションは、繰り返しプレフィルリクエストを導入し、ロールアウト全体を通じて、プレフィルとデコードワークロードが共存する。 このワークロードは、エージェントRLロールアウトの高速化を約束するオンラインLLMサービスに広く使用されている、プリフィル・デコード(PD)デアグリゲーション(PD)デアグリゲーション(disaggregation)を実現する。 本稿では,PD分解によるロールアウト効率の向上について述べる。 (a)データ並列アテンションモジュール間の干渉軽減 b) ステージ固有の並列化を実現し、 (c) 終端軌道完了時間を短縮する。 しかしながら、固定されたプリフィル/デコードアロケーションは、タスクや時間とともにワークロードの構成が変化するため、これらのメリットを維持できない可能性がある。 そこで我々は,予測誘導型プリフィル・デコードリソースアロケーションのためのエージェントRLフレームワークProrsaを提案する。 Prorsaは、すべての軌道のライフサイクルを観察して、短水平プレフィルを予測し、需要をデコードする。 これらの予測は、ワーカーの割り当て決定をガイドし、ロールスイッチングエンジンを起動し、プレフィルとデコード容量を期待されるワークロード要求と整合させる。 同期および非同期のエージェントRL設定全体で、Prorsaはプリフィル・デコード・コロケーション上で1.11x-4.05xのエンドツーエンドのロールアウトスピードアップを達成する。

関連論文リスト

• End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
  大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。 本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。 本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
  論文  参考訳（メタデータ） (2026-09-15T13:50:54Z)
• WAR: Workload-Aware Rollouts for Synchronous Agentic Reinforcement Learning [0.0]
  WARは、同期エージェントRLトレーニングを大幅に高速化する、ワークロード対応のロールアウトシステムである。 低負荷下では、WARはSuffixDecodingでモデルフリーの投機的デコーディングを可能にする。 高負荷下では、WARは最適化の焦点をキャッシュ対応スケジューリングにシフトする。
  論文  参考訳（メタデータ） (2026-07-19T15:31:13Z)
• EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts [20.460789503141466]
  本稿では、RLロールアウトにおけるこのギャップに対処するために設計されたシステム対応セルフSDフレームワークであるEfficientRolloutを紹介する。 EfficientRolloutは、ARロールアウトベースラインを高速化することで、ロールアウトとエンドツーエンドのレイテンシをそれぞれ19.6%、12.7%削減する。
  論文  参考訳（メタデータ） (2026-06-17T11:51:06Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• DLLM Agent: See Farther, Run Faster [94.74432470237817]
  拡散大言語モデル(DLLM)は、自己回帰(AR)デコーディングの代替として、魅力的な効率とモデリング特性を持つ。 我々は、DLLMとARのバックボーンを同一のエージェントワークフロー内でインスタンス化することで、制御された環境でこれを研究する。 DLLMエージェントはARエージェントよりも平均30%以上速く、場合によっては8倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-02-07T09:01:18Z)
• Beat the long tail: Distribution-Aware Speculative Decoding for RL Training [75.75462952580796]
  モデル出力を変更することなくRLロールアウトを高速化する分散Aware Speculativeデコーディングフレームワークを提案する。 数学とコード推論タスクの実験は、DASが同一のトレーニング曲線を保ちながらロールアウト時間を最大50%短縮することを示している。
  論文  参考訳（メタデータ） (2025-11-17T19:02:12Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。