論文の概要: TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling

• arxiv url: http://arxiv.org/abs/2608.10402v1
• Date: Tue, 11 Aug 2026 02:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.872779
• Title: TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling
• Title（参考訳）: TideRL: 準備を意識したスケジューリングによるエージェントRL出力向上
• Abstract要約: 大規模言語モデルのための強化学習(RL)は、マルチターンエージェントワークロードに向かっている。 この設定では、トレーニングスループットによって測定されるRLトレーニングの成果は、生のGPU占有よりも重要である。 本稿では,連続的タスク・アクター・パイプライニングと弾性資源スケーリングを備えたレジーネス対応弾性RLシステムであるTideRLについて述べる。
• 参考スコア（独自算出の注目度）: 23.31709047414638
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning (RL) for large language models is moving toward multi-turn agentic workloads, where rollout tasks repeatedly pause for external environments, resume with growing contexts, and finish at highly variable times. In this setting, RL training goodput, measured by training throughput, matters more than raw GPU occupancy: GPU waiting and repeated prefill recomputation are pure overhead. We present TideRL, a readiness-aware elastic RL system with Continuous Task Batching, Resource-Aware Ref-Actor Pipelining, and Elastic Resource Scaling. CTB preserves useful rollout state, $\textrm{RA}^2\textrm{P}$ selects between decoupled streaming and colocated aggregation from the ready backlog and arrival interval, and ERS moves ranks between rollout and training using the same readiness signals. Across text-only and multi-modal agentic workloads, TideRL improves RL training goodput by up to 5.6$\times$ over synchronous baselines and over 33% over asynchronous baselines, while reaching similar task performance. It also improves KV cache hit rate by 1.58$\times$, reduces per-step training time by up to 44.3%, and cuts total waiting time by up to 77.6%.
• Abstract（参考訳）: 大規模言語モデルの強化学習(RL)は、マルチターンエージェントワークロードへと移行している。 この設定では、トレーニングスループットによって測定されるRLトレーニングの成果は、生のGPU占有よりも重要である:GPU待ちと繰り返しのプリフィル再計算は、純粋なオーバーヘッドである。 本稿では、連続タスクバッチ、リソース対応Ref-Actorパイプライニング、およびElastic Resource Scalingを備えた、可読性を考慮した弾力性RLシステムであるTideRLを提案する。 CTBは、有用なロールアウト状態を保持し、$\textrm{RA}^2\textrm{P}$は、準備されたバックログと到着間隔から分離されたストリーミングとコロケーションされたアグリゲーションを選択する。 テキストのみおよびマルチモーダルエージェントワークロード全体で、TideRLはRLトレーニングの成果を5.6$\times$ 同期ベースライン以上、非同期ベースライン以上で33%改善し、同様のタスクパフォーマンスを達成した。 また、KVキャッシュヒット率を1.58$\times$に改善し、ステップ毎のトレーニング時間を44.3%削減し、待ち時間を77.6%削減する。

関連論文リスト

• Scheduling Mixed RL Rollouts Beyond Prefix Locality [36.380117619423416]
  MISA-T(MISA-T)について述べる。 MISA-Tはキャッシュ対応のvLLMルータのロールアウトスループットを,それぞれ53.3%,43.6%向上した。 また、消費されるワークロードをトレーナーの目標に近づけ、同等のタスクスコアを達成しながら、平均時間を22.8%短縮する。
  論文  参考訳（メタデータ） (2026-08-11T17:10:50Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• Relax: An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale [23.085412733650372]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論、自己回帰、ツール使用能力の解放に有効であることが証明されている。 オープンソースのRLトレーニングエンジンである textbfRelax を紹介します。
  論文  参考訳（メタデータ） (2026-04-13T14:42:03Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents [75.40987300040632]
  ProRL Agentはスケーラブルなインフラストラクチャで、APIサービスを通じて完全なエージェントロールアウトライフサイクルを提供する。 ProRL AgentはNVIDIA NeMo Gymの一部としてオープンソースとして統合されている。
  論文  参考訳（メタデータ） (2026-03-19T12:08:51Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Role-Based Fault Tolerance System for LLM RL Post-Training [24.163081819380647]
  トレーニング後のRLはトレーニングと推論のワークロードをインターリーブし、システムを両側の障害に晒す。 私たちの重要な洞察は、ロールベースの障害分離です。 本稿では,RL後トレーニング時間比改善のためのGPUマシンエラーを処理する,初の総合的ロバストシステムであるRobustRLを提案する。
  論文  参考訳（メタデータ） (2025-12-27T06:30:18Z)
• $π_\texttt{RL}$: Online RL Fine-tuning for Flow-based Vision-Language-Action Models [76.66547858171452]
  $pi_textRL$は、並列シミュレーションでフローベースのVision-Language-Action(VLA)モデルをトレーニングするためのオープンソースのフレームワークである。 $pi_textRL$は、数ショットのSFTモデルに$pi_0.5$を57.6%から97.6%へ、それぞれ77.1%から98.3%へ引き上げる。 ManiSkillでは、320の並列環境で$pi_textRL$をトレーニングし、$pi_textRL$を41.6%から85.7%、$pi_0.5に改善します。
  論文  参考訳（メタデータ） (2025-10-29T18:37:39Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。