論文の概要: BubbleSpec: Turning Long-Tail Bubbles into Speculative Rollout Drafts for Synchronous Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.08862v1
- Date: Sat, 09 May 2026 10:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.937193
- Title: BubbleSpec: Turning Long-Tail Bubbles into Speculative Rollout Drafts for Synchronous Reinforcement Learning
- Title（参考訳）: BubbleSpec: ロングテールバブルを同期強化学習のための投機ロールアウトドラフトに変換する
- Abstract要約: 強化学習(RL)は,大規模言語モデル(LLM)の性能向上の基盤となっている。
本稿では,RLロールアウトを高速化し,数学的精度を厳格に保ちながら,BubbleSpecを提案する。
BubbleSpecはデコード手順を50%削減し、ロールアウトスループットを最大1.8倍向上させる。
- 参考スコア（独自算出の注目度）: 39.561535092650466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) has become a cornerstone for improving the performance of Large Language Models (LLMs). However, its rollout phase constitutes a significant efficiency bottleneck, mainly arising from the long-tail bubbles across data parallel ranks, particularly in long-context scenarios where faster GPUs remain idle while waiting for stragglers. Existing solutions, such as partial rollout or asynchronous RL, mitigate these bubbles by compromising the algorithm's strict synchronous nature. Instead, we propose BubbleSpec, a novel framework that accelerates RL rollouts while strictly keeping the mathematical exactness. Instead of attempting to eliminate bubbles, BubbleSpec exploits them. We exploit the idle time windows of faster ranks to pre-generate rollout results for subsequent steps, serving as drafts for speculative decoding. Unlike prior speculative methods that rely on historical epoch similarity and warm-ups, BubbleSpec is agnostic to dataset size and provides immediate acceleration from the onset of training. Extensive evaluations demonstrate that BubbleSpec reduces decoding steps by 50% and increases rollout throughput by up to 1.8x. Critically, BubbleSpec is seamlessly compatible with various RL frameworks and strategies as it sustains the strict synchronous property of RL algorithms.
- Abstract（参考訳）: 強化学習(RL)は,大規模言語モデル(LLM)の性能向上の基盤となっている。
しかし、そのロールアウトフェーズは、主にデータ並列ランクの長いテールバブルから生じる、特にトラグラーを待っている間、高速なGPUがアイドル状態のままである長期コンテキストシナリオにおいて、大きな効率ボトルネックを構成する。
部分ロールアウトや非同期RLといった既存のソリューションは、アルゴリズムの厳密な同期性を妥協することで、これらのバブルを緩和する。
代わりに、RLロールアウトを加速し、数学的正確性を厳格に保ちながら、BubbleSpecを提案する。
BubbleSpecは、バブルをなくすのではなく、それらを悪用する。
我々は、より速いランクのアイドル時間窓を利用して、その後のステップのロールアウト結果を事前に生成し、投機的復号のドラフトとして機能する。
過去のエポックな類似性やウォームアップに依存する以前の投機的メソッドとは異なり、BubbleSpecはデータセットのサイズに非依存であり、トレーニングの開始から即座にアクセラレーションを提供する。
大規模な評価では、BubbleSpecはデコードステップを50%削減し、ロールアウトスループットを最大1.8倍向上させる。
重要な点として、BubbleSpecはRLアルゴリズムの厳密な同期性を維持するため、さまざまなRLフレームワークや戦略とシームレスに互換性がある。
関連論文リスト
- DeLS-Spec: Decoupled Long-Short Contexts for Parallel Speculative Drafting [22.7968403903992]
投機的復号化は、複数のトークンを起草し、それらを並列に検証することで推論を加速する。
DominoやDSparkといった最近の手法では、ブロック並列のドラフトに因果性を導入しようとしているが、ドラフトモデルをゼロからトレーニングする必要がある。
本稿では,デカップリング型長短コンテキスト投機復号法であるDeLS-Specを提案する。
論文 参考訳（メタデータ） (2026-07-08T13:41:52Z) - IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。
ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。
IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
論文 参考訳（メタデータ） (2026-05-21T08:25:17Z) - SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents [55.74932252501046]
SpecHopは、複数の投機スレッドを維持する継続的投機フレームワークである。
SpecHopが十分なアクティブスレッドでオラクルのレイテンシ向上にアプローチできることを示します。
論文 参考訳（メタデータ） (2026-05-21T03:55:47Z) - SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。
SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。
LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
論文 参考訳（メタデータ） (2026-03-24T16:48:31Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - SPEC-RL: Accelerating On-Policy Reinforcement Learning via Speculative Rollouts [35.82325476805143]
SPEC-RLは、SPECulativeデコーディングとRLロールアウトプロセスを統合するフレームワークである。
政策品質を損なうことなく、ロールアウト時間を2～3倍に短縮する。
純粋にロールアウトステージの強化として、SPEC-RLはメインストリームのアルゴリズムとシームレスに統合される。
論文 参考訳（メタデータ） (2025-09-27T10:32:34Z) - PipeSpec: Breaking Stage Dependencies in Hierarchical LLM Decoding [4.734824660843965]
PipeSpecは、投機的デコーディングを階層的なパイプラインに配置された$k$モデルに一般化するフレームワークである。
PipeSpecは2.54$times$の高速化を実現し、最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-02T20:29:31Z) - APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs [81.5049387116454]
我々は、効率的な長文推論フレームワークであるAPBを紹介する。
APBはプリフィル速度を高めるためにマルチホスト近似アテンションを使用する。
APBはFlashAttn、RingAttn、StarAttnと比較して最大9.2x、4.2x、1.6xの速度を実現している。
論文 参考訳（メタデータ） (2025-02-17T17:59:56Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳（メタデータ） (2024-10-08T01:05:08Z) - TurboSpec: Closed-loop Speculation Control System for Optimizing LLM Serving Goodput [37.56866491624234]
大規模言語モデル (LLM) システムは、効率的なサービスを実現するために、同時ユーザー要求をバッチ化する。
本稿では,実行環境を自動的にプロファイリングする投機制御システムTurboSpecを提案する。
さまざまなワークロードとハードウェア構成にまたがって、その効果を実証します。
論文 参考訳（メタデータ） (2024-06-20T07:43:33Z) - Zero Bubble Pipeline Parallelism [6.7021820542657045]
実験により,本手法は1F1Bのスループットを23%まで向上させることを示した。
パイプライン並列化の真の可能性を活用する上で、我々の結果は大きな一歩だと信じています。
論文 参考訳（メタデータ） (2023-11-30T10:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。