論文の概要: S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.13202v1
- Date: Fri, 09 Oct 2026 08:22:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.476891
- Title: S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
- Title（参考訳）: S$3$R:自己スパース投機デコードによる高速かつ忠実なRLロールアウト
- Abstract要約: 検証可能な報酬を持つ強化学習のための高速ロールアウト生成は、ポリシー最適化に使用される応答群を変更することなく、KVキャッシュトラフィックを減らす必要がある。
自己分散型投機ロールアウト(S$3$R)を提案する。
希少な注意を使ってトークンを提案し、完全なアテンション検証と正確な投機的サンプリングを通じて応答を生成する。
Qwen3モデルにおける自動回帰ロールアウトのエンドツーエンドのトレーニングスループットは、タスクパフォーマンスに匹敵する$1.39times1.35timesを達成している。
- 参考スコア（独自算出の注目度）: 36.240156196650915
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fast rollout generation for long-context reinforcement learning with verifiable rewards (RLVR) requires reducing KV-cache traffic without changing the response groups used for policy optimization. In our profiled RLVR workloads, attention accounts for 72--76\% of autoregressive decoding kernel time. Sparse attention reduces these reads, but sampling directly from a sparse policy changes the response groups used for learning. For group-relative optimization, we show that even exact response-wise reweighting does not generally recover the expected dense-policy update because the advantage of each response depends on the rewards of other group members. We propose Self-Sparse Speculative Rollouts (S$^3$R). It uses sparse attention to propose tokens, then generates responses through full-attention verification and exact speculative sampling. Drafting and verification share the same policy parameter, eliminating the need to train or update a separate drafter. The resulting response groups follow the dense-policy distribution. Under S$^3$R, we characterize speedup conditions and the costs of drafting and verification. We found that dense verification still requires the complete historical KV cache. A KV-aware scheduler therefore limits KV-cache repeated offloading and restoration while maintaining rollout parallelism. % OR thrashing In a matched ablation with an aggressive sparse drafting budget, S$^3$R maintains stable training while direct sparse sampling with training-side correction becomes unstable. On long-context mathematical reasoning, S$^3$R achieves $1.39\times~1.35\times$ the end-to-end training throughput of autoregressive rollouts on Qwen3 model, with comparable task performance.
- Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた長文強化学習のための高速ロールアウト生成では,ポリシ最適化に使用する応答群を変更することなく,KVキャッシュトラフィックを削減する必要がある。
プロファイルされたRLVRワークロードでは、自動回帰デコードカーネル時間の72～76パーセントが注目されている。
スパースアテンションはこれらの読み出しを減少させるが、スパースポリシーから直接サンプリングすると、学習に使用する応答群が変化する。
グループ相対最適化では, 正確な応答性の再重み付けであっても, 各応答の利点は他のグループメンバーの報酬に依存するため, 期待される高密度ポリチ更新を回復しないことを示す。
自己分離型投機ロールアウト(S$^3$R)を提案する。
希少な注意を使ってトークンを提案し、完全なアテンション検証と正確な投機的サンプリングを通じて応答を生成する。
ドラフトと検証は同じポリシーパラメータを共有し、個別のドラフトアをトレーニングまたは更新する必要がなくなる。
結果として生じる応答群は、密集した政治分布に従う。
S$3$Rでは、高速化条件と起草と検証のコストを特徴付ける。
厳密な検証にはまだ完全なKVキャッシュが必要であることがわかった。
したがって、KV対応スケジューラは、ロールアウト並列性を維持しながら、KV対応の繰り返しのオフロードと復元を制限している。
% OR スラッシング S$^3$R は, トレーニング側補正による直接スパースサンプリングが不安定となるとともに, 安定したトレーニングを継続する。
長文の数学的推論において、S$^3$RはQwen3モデルにおける自動回帰ロールアウトのエンドツーエンドのトレーニングスループットを1.39\times~1.35\times$で達成し、タスク性能に匹敵する。
関連論文リスト
- PEARL: Adaptive Prefill-Decode Execution with Elasticity for Agentic Reinforcement Learning [12.387079374338917]
非同期実行とエラスティックGPUリソースはこのステージを加速するが、ロールアウトレプリカを追加するとリターンが減少する。
本稿では,外部資源の弾性,アイドルトレーニングGPUの一時的再利用,適応PD実行を協調するエージェントシステムであるRL PEARLを提案する。
評価の結果,PEARL は LLM 間の固定リソース ROLL のスループットを2.17$-2.79times で達成した。
論文 参考訳（メタデータ） (2026-09-28T13:35:47Z) - Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
可変ガイドオンラインロールアウトアロケーション(VIGOR)
可変ガイドオンラインロールアウトアロケーション(VIGOR)
可変ガイドオンラインロールアウトアロケーション(VIGOR)
論文 参考訳（メタデータ） (2026-07-24T06:04:04Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Cross-Epoch Adaptive Rollout Optimization for RL Post-Training [5.459625245330074]
LLMポストトレーニングは、しばしばプロンプト毎に複数のロールアウトをサンプリングする強化学習手法に依存している。
既存のほとんどのアプローチでは、トレーニング信号に大きな違いがあるにも関わらず、すべてのプロンプトに対して固定的なロールアウト予算を使用している。
我々は、固定されたグローバル予算の下でのアダプティブ・ロールアウト・アロケーションについて検討し、即時還元リターンを伴うオンラインリソースアロケーションとして問題を定式化する。
論文 参考訳（メタデータ） (2026-06-04T02:27:51Z) - Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR [16.681943272535104]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデルの能力を向上させるが、見出し精度の向上は隠れたコストを隠蔽することが多い。
我々は、マスタされたプロンプトを追跡し、それを定期的に再導入して、過去のソリューションのモデルをtextbfremindに再導入するリテンション対応レビューメカニズムであるtextbfmethodを提案する。
論文 参考訳（メタデータ） (2026-06-02T03:17:34Z) - $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。
チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。
再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
論文 参考訳（メタデータ） (2026-03-07T13:17:46Z) - Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。
トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。
6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
論文 参考訳（メタデータ） (2026-02-09T10:51:58Z) - Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。
この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。
本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
論文 参考訳（メタデータ） (2026-02-02T03:50:01Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳（メタデータ） (2025-04-18T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。