論文の概要: EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts

• arxiv url: http://arxiv.org/abs/2606.18967v1
• Date: Wed, 17 Jun 2026 11:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.145577
• Title: EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts
• Title（参考訳）: EfficientRollout:RLロールアウトのためのシステム対応自己スペクティブデコーディング
• Authors: Minseo Kim, Minjae Lee, Seunghyuk Oh, Kevin Galim, Donghoon Kim, Coleman Hooper, Harman Singh, Amir Gholami, Hyung Il Koo, Wonjun Kang,
• Abstract要約: 本稿では、RLロールアウトにおけるこのギャップに対処するために設計されたシステム対応セルフSDフレームワークであるEfficientRolloutを紹介する。 EfficientRolloutは、ARロールアウトベースラインを高速化することで、ロールアウトとエンドツーエンドのレイテンシをそれぞれ19.6%、12.7%削減する。
• 参考スコア（独自算出の注目度）: 20.460789503141466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a representative post-training paradigm for LLMs, enabling strong reasoning and agentic capabilities. However, rollout generation remains a dominant latency bottleneck because autoregressive sampling decodes responses sequentially and a small number of long-tailed generations often determine completion time. Speculative decoding (SD) offers a natural way to address this bottleneck, as it is a well-established technique for serving fixed LLMs that reduces latency by rapidly drafting tokens and accepting them through parallel verification while preserving the target-model distribution. However, its practical speedups do not directly carry over to RL rollouts: (i) the evolving target policy makes any fixed drafter increasingly mismatched with the policy's output distribution; and (ii) active batch sizes shrink throughout rollout decoding, shifting decoding from compute-bound to memory-bound regimes where parallel verification can exploit underutilized compute. Therefore, accelerating RL rollouts requires both a drafter that remains effective under long, high-temperature generations from an evolving policy and system-aware use of SD that avoids compute-bound regimes. We present EfficientRollout, a system-aware self-SD framework designed to address this gap for RL rollouts. EfficientRollout induces a quantized drafter from the target model (i.e. self-speculative decoding), keeping it coupled to the evolving policy without separate drafter pretraining or online adaptation. It further coordinates a system-aware SD toggle policy with acceptance-aware draft-length adaptation, enabling speculation only in beneficial regimes while matching the drafting budget to evolving drafter quality. EfficientRollout reduces rollout and end-to-end latency by up to 19.6% and 12.7%, respectively, over an accelerated AR rollout baseline, while preserving final model quality.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)はLLMの代表的なポストトレーニングパラダイムとなり、強力な推論とエージェント能力を実現している。 しかし、自動回帰サンプリングは応答を逐次復号し、少数の長周期世代が完了時間を決定するため、ロールアウト生成は大きな遅延ボトルネックのままである。 投機的復号法(SD)は、トークンを迅速に起草し、ターゲットモデル分布を保ちながら並列検証を通じてそれらを受け入れることでレイテンシを低減する固定LDMを提供するための、確立された技術であるため、このボトルネックに対処するための自然な方法である。 ただし、実際のスピードアップはRLロールアウトに直接行っていない。 一 目標とする政策の進展により、定型な起草者は、その政策の出力分布に不適合度が増す。 (II) アクティブバッチサイズはロールアウトデコーディング全体を通じて縮小し、並列検証が未使用の計算を活用可能な計算バウンドからメモリバウンドレシスタンスにデコーディングをシフトする。 したがって、RLのロールアウトを加速するには、進化するポリシーと計算バウンドレジームを避けるシステムに意識されたSDの使用から、長期、高温世代において有効であるドラフトラが必要である。 本稿では、RLロールアウトにおけるこのギャップに対処するために設計されたシステム対応セルフSDフレームワークであるEfficientRolloutを紹介する。 EfficientRolloutは、ターゲットモデル(すなわち自己投機的復号化)から量子化されたドラフトラを誘導し、個別のドラフトラの事前訓練やオンライン適応なしに進化するポリシーに結合する。 さらに、システム対応SDトグルポリシーと受け入れ対応のドラフト長適応を調整し、ドラフト予算とドラフト品質の進化を一致させながら、有益な体制でのみ投機を可能にする。 EfficientRolloutは、最終モデルの品質を維持しながら、ARロールアウトベースラインの高速化により、ロールアウトとエンドツーエンドのレイテンシをそれぞれ19.6%と12.7%に削減する。

関連論文リスト

• Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding [8.43502622452414]
  RLロールアウトにおけるアクセラレーションプリミティブとしての投機的復号化について検討する。 VLLMバックエンドでNeMo-RLの投機的復号化を実装した。 投機的デコーディングと非同期RLを組み合わせることで,最大2.5倍のエンドツーエンドのトレーニングスピードアップを235Bスケールで達成する。
  論文  参考訳（メタデータ） (2026-04-29T15:11:48Z)
• Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。 統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入 検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
  論文  参考訳（メタデータ） (2026-04-08T00:53:29Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
  強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。 本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:25Z)
• Beat the long tail: Distribution-Aware Speculative Decoding for RL Training [75.75462952580796]
  モデル出力を変更することなくRLロールアウトを高速化する分散Aware Speculativeデコーディングフレームワークを提案する。 数学とコード推論タスクの実験は、DASが同一のトレーニング曲線を保ちながらロールアウト時間を最大50%短縮することを示している。
  論文  参考訳（メタデータ） (2025-11-17T19:02:12Z)
• Pluto and Charon: A Time and Memory Efficient Collaborative Edge AI Framework for Personal LLMs Fine-Tuning [13.26886445965894]
  Pluto and Charon(PAC)は、個人用LLMの微調整のための、時間とメモリ効率のよい協調エッジAIフレームワークである。 PACは、パラメータ、時間、メモリの点で効率的なパーソナルLLMの微調整技術を実装している。 プロトタイプ実装に基づく大規模な評価は、PACが最先端のアプローチを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-20T11:30:12Z)
• When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL [37.58940726230092]
  離散時間マルコフ決定過程(MDP)の最適化における強化学習(RL)の特長 この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を形式化する。 我々は、TaCoSで訓練された最先端のRLアルゴリズムが、その離散時間に対する相互作用量を劇的に削減できることを実証した。
  論文  参考訳（メタデータ） (2024-06-03T09:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。