論文の概要: NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.32881v1
• Date: Fri, 23 Oct 2026 16:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.612344
• Title: NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding
• Title（参考訳）: NgramRL: ロールアウト対応N-gram投機デコードによる構造生成のためのRL後の高速化
• Abstract要約: NgramRLは、最近のロールアウト履歴から構築された、プロンプト毎のn-gramドラフトラである。 NgramRLは補助モデル、ドラフトアトレーニング、永続的なGPU-residentドラフトアステートを必要としない。 Spiderでは、Qwen3-8Bの結果の96.6%を16の予算でカバーし、同期NgramRLよりも1.38倍のロールアウトスループットを向上している。
• 参考スコア（独自算出の注目度）: 8.63378049059572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) post-training improves the reasoning capabilities of large language models, but its cost is dominated by autoregressive rollout generation, which can exceed 70% of training time. Existing speculative-decoding methods are poorly suited to this setting: model-based drafters consume scarce GPU memory and may become misaligned as the policy evolves, while existing model-free methods do not explicitly exploit repetition across training epochs. We observe that recent rollouts of the same prompt provide a high-quality, self-updating draft source. Based on this insight, we propose NgramRL, a per-prompt n-gram drafter constructed from bounded recent rollout history. NgramRL requires no auxiliary model, drafter training, or persistent GPU-resident drafter state, while target-model verification preserves the rollout distribution. To hide CPU cache lookup and scheduling, we further introduce an adaptive fan-out prefetcher that predicts likely verification outcomes (j, b), consisting of the accepted draft length j and target-emitted continuation token b. A causal budget allocator concentrates prefetches on high-probability outcomes, while uncovered outcomes fall back to sequential lookup without changing committed tokens. Across two model families and three reasoning and structured-generation workloads, NgramRL commits 3.60-7.77 tokens per target-model forward in the warm-cache regime, up to 1.99x more than SuffixDecoding and 7.0x more than prompt-lookup decoding. On Spider, the prefetcher covers 96.6% of Qwen3-8B outcomes at a candidate budget of 16 and improves measured rollout throughput by 1.38x over synchronous NgramRL, approaching its 1.40x overlap ceiling.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論能力を向上させるが、そのコストは自己回帰的なロールアウト生成によって支配され、トレーニング時間の70%を超える。 モデルベースのドラフトアはGPUメモリの不足を消費し、ポリシーが進化するにつれて不一致する可能性があるが、既存のモデルフリーメソッドはトレーニングエポジスト間の繰り返しを明示的に活用していない。 我々は、最近の同じプロンプトのロールアウトが、高品質で自己更新型のドラフトソースを提供するのを観察する。 そこで本研究では,近年のロールアウト履歴から構築したN-gramドラフトラであるNgramRLを提案する。 NgramRLは補助モデル、ドラフトアトレーニング、永続的なGPU-レジデントドラフトアステートを必要としないが、ターゲットモデル検証はロールアウト分布を保存する。 CPUキャッシュのルックアップとスケジューリングを隠蔽するために、我々はさらに適応型ファンアウトプレフェッチャーを導入し、許容されたドラフト長 j と減算された継続トークン b から構成される可能性のある検証結果 (j, b) を予測する。 因果予算アロケータは、高確率な結果にプリフェッチを集中させ、発見された結果はコミットトークンを変更することなくシーケンシャルなルックアップにフォールアップする。 2つのモデルファミリと3つの推論および構造化されたワークロードに対して、NgramRLは、ウォームキャッシュ方式でターゲットモデル毎に3.60-7.77トークンをコミットし、SuffixDecodingよりも1.99倍、即時ルックアップデコーディングより7.0倍高い。 Spiderでは、Qwen3-8Bの結果の96.6%を16の予算でカバーし、同期NgramRLよりも1.38倍高いロールアウトスループットを向上し、1.40倍のオーバーラップ天井に近づいた。

関連論文リスト

• Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
  本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。 まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。 推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
  論文  参考訳（メタデータ） (2026-10-11T10:04:59Z)
• Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution [21.175751148936587]
  提案手法は,可視性を考慮した検証ルールであるSpeculative Decoding (NSD)を導入する。 NSDは、標準テストを通過したり、ターゲット核に属する場合、ドラフトトークンを受理するが、SDの残留補正とボーナスのサンプリングは変わらない。 NSDは比較対象のメソッドの中で最も高いスループットを実現し、オートレグレッシブデコードで最大5.16タイム、標準SDで最大3.15タイムのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-10-06T06:18:16Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Not all tokens are needed(NAT): token efficient reinforcement learning [17.384089089363382]
  Not All Tokens Are Needed (NAT)はトークン予算を一級最適化プリミティブにする統一フレームワークです。 NATは、完全なシーケンス強化学習の学習信号を保存しながら、生成されたトークンの選ばれたサブセットのみを使用してポリシーを更新する。 我々の実験では、RPCはQwen3-8Bで18%のピークGPUメモリと29%の前方および後方RLトレーニング時間を節約します。
  論文  参考訳（メタデータ） (2026-02-20T21:16:52Z)
• Beat the long tail: Distribution-Aware Speculative Decoding for RL Training [75.75462952580796]
  モデル出力を変更することなくRLロールアウトを高速化する分散Aware Speculativeデコーディングフレームワークを提案する。 数学とコード推論タスクの実験は、DASが同一のトレーニング曲線を保ちながらロールアウト時間を最大50%短縮することを示している。
  論文  参考訳（メタデータ） (2025-11-17T19:02:12Z)
• Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL [19.659532349434418]
  強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。 しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。 本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
  論文  参考訳（メタデータ） (2025-09-07T11:52:18Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Online Speculative Decoding [34.987825705622555]
  大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。 主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。 本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-10-11T04:03:42Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。