論文の概要: GrowMTP: Can RL Grow Its Own Draft Head?

• arxiv url: http://arxiv.org/abs/2609.16648v1
• Date: Tue, 15 Sep 2026 05:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.352294
• Title: GrowMTP: Can RL Grow Its Own Draft Head?
• Title（参考訳）: GrowMTP: RLは独自のドラフトヘッドを育てられるか?
• Abstract要約: 本稿では,RLループ内でのドラフトヘッドをスクラッチからトレーニングするために,監督を利用するGrowMTPを提案する。 GrowMTPは2.13x, 1.93x, 1.36xのロールアウトスピードアップと1.60x, 1.41x, 1.20xのエンドツーエンドスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 22.52425087106945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) post-training drives the frontier capabilities of large language models, with its wall-clock dominated by autoregressive rollout generation. Speculative decoding is an established remedy for this bottleneck, but existing draft heads must be pretrained or warmed up before RL, introducing substantial training cost outside the RL run to be accelerated. We observe that RL training itself provides both conditions required for online draft-head training: its rollout distribution is far narrower than that of pretraining, and its verification step continuously produces supervision signals aligned with this distribution. Building on these observations, we propose GrowMTP, which uses this supervision to train a draft head from scratch entirely within the RL loop, with all head updates detached from the policy backbone. On Qwen3-4B (no draft head), MiMo-7B-SFT (weak head), and Qwen3.5-4B-Base (strong head), GrowMTP achieves rollout speedups of 2.13x, 1.93x, and 1.36x, and end-to-end speedups of 1.60x, 1.41x, and 1.20x, respectively. GrowMTP therefore serves existing RL training frameworks as a modular component, particularly offering a from-scratch acceleration path for models without pretrained draft heads.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルのフロンティア機能を駆動し、壁面時計は自動回帰ロールアウト生成に支配されている。 投機的復号化はこのボトルネックの解決策として確立されているが、既存のドラフトヘッドはRLの前に事前訓練またはウォームアップされなければならない。 我々は、RLトレーニング自体がオンラインドラフトヘッドトレーニングに必要な条件の両方を提供していることを観察し、そのロールアウト分布は事前トレーニングよりもはるかに狭く、その検証ステップは、この配布に適合した監視信号を連続的に生成する。 これらの観測に基づいてGrowMTPを提案する。これは、ポリシーバックボーンから切り離されたすべてのヘッド更新を伴って、ドラフトヘッドをRLループ内で完全にスクラッチからトレーニングするために、このインスペクションを使用する。 Qwen3-4B(ドラフトヘッドなし)、MiMo-7B-SFT(弱ヘッド)、Qwen3.5-4B-Base(強ヘッド)では、GrowMTPはそれぞれ2.13x、1.93x、1.36xのロールアウトスピードアップと1.60x、1.41x、1.20xのエンドツーエンドスピードアップを達成する。 それゆえ、GrowMTPは既存のRLトレーニングフレームワークをモジュールコンポーネントとして提供し、特に事前訓練されたドラフトヘッドを持たないモデルに対して、アウトスクラッチアクセラレーションパスを提供する。

関連論文リスト

• Agent Lightning v1.0: Towards Harnessed Agentic RL [28.087691629023038]
  本稿では,エージェントRLを利用する軽量フレームワークであるAgens Lightning v1.0を紹介する。 任意のエージェントハーネスをサポートし、これらの課題を研究するための実践的なテストベッドとして機能する。 我々は、命令追従、探索、符号化エージェントについて評価し、符号化エージェントRLのための完全な再現可能なパイプラインを提供する。
  論文  参考訳（メタデータ） (2026-08-18T08:50:13Z)
• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling [87.16803442525755]
  強化学習(RL)は、現代の大規模言語モデルにおいて重要なコンポーネントとなっているが、ロールアウトステージは、RLトレーニングパイプラインにおける重要なボトルネックであり続けている。 MTP(Multi-Token Prediction)は投機的復号化によってロールアウトを加速する自然な解を提供するが、多くの研究で、MTPの受入率がRLトレーニング中に著しく低下することが観察されている。 本稿では,LLMポストトレーニングにおけるMPPの体系的研究であるBebopを紹介し,大規模なRLパイプラインにMPPを統合するための実践的なレシピを提供する。
  論文  参考訳（メタデータ） (2026-06-10T17:36:45Z)
• RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training [18.932290080075685]
  RLは非常に早期に有効であることが分かっており、SFT$to$RLパイプラインと早期にマッチすることが多い。 ベースチェックポイントに直接RLを適用すると、モデルの分布が拡大する。 モデル全体の能力は基本的にRLによって変わらず、SFTの後に劣化する。
  論文  参考訳（メタデータ） (2026-06-02T22:55:18Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
  強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。 本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:25Z)
• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• An Empirical Study on Eliciting and Improving R1-like Reasoning Models [90.52239241349504]
  RLトレーニングのスケーリングは、そのような推論モデルを実装するための中心的なテクニックとなっている。 我々のRLトレーニングアプローチはQwen2.5-32Bベースモデルを継続的に改善することを示した。 また、ツール操作の利用についても検討し、大きな推論モデルの推論性能を大幅に向上させることを見出した。
  論文  参考訳（メタデータ） (2025-03-06T15:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。