論文の概要: Fast LLM Post-training via Decoupled and Best-of-N Speculation
- arxiv url: http://arxiv.org/abs/2511.16193v2
- Date: Fri, 21 Nov 2025 07:34:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-24 14:08:26.116087
- Title: Fast LLM Post-training via Decoupled and Best-of-N Speculation
- Title（参考訳）: 脱カップリング・ベストオブN法による高速LDMポストトレーニング
- Authors: Rongxin Cheng, Kai Zhou, Xingda Wei, Siyuan Liu, Mingcong Han, Mingjing Ai, Yeju Zhou, Baoquan Zhong, Wencong Xiao, Rong Chen, Haibo Chen,
- Abstract要約: SpecActor は,(1) 音速分離型投機法,(2) 音速ベストオブN投機法による投機ロールアウトの2つの課題に対処する。
sysは、エンドツーエンドのトレーニングではveRLよりも1.7,$times$速く、1.3-1.5,$times$は投機的デコーディングのベースラインよりも高速である。
- 参考スコア（独自算出の注目度）: 9.651863379689255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rollout dominates the training time in large language model (LLM) post-training, where the trained model is used to generate tokens given a batch of prompts. SpecActor achieves fast rollout with speculative decoding that deploys a fast path (e.g., a smaller model) to accelerate the unparallelizable generation, while the correctness is guaranteed by fast parallel verification of the outputs with the original model. SpecActor addresses two foundational challenges in speculative rollout by (1) a \emph{dynamic decoupled speculation} execution method that maximizes the GPU computational efficiency to realize speedup for large-batch execution -- a configuration common in training but unfriendly to speculative execution and (2) a \emph{dynamic Best-of-N speculation} method that selects and combines different drafting methods according to the rollout progress. It substantially improves the speculation accuracy even when the best drafting method is unknown a priori, meanwhile without requiring adding extra computation resources. {\sys} is {1.7}\,$\times$ faster than veRL in end-to-end training, and is {1.3--1.5}\,$\times$ faster compared to baselines with speculative decoding.
- Abstract（参考訳）: ロールアウトは、トレーニング後の大きな言語モデル(LLM)のトレーニング時間を支配し、トレーニングされたモデルを使用して、一連のプロンプトが与えられたトークンを生成する。
SpecActorは、高速なパス(例えば、より小さなモデル)をデプロイして並列化不可能な生成を加速する投機的復号化で高速なロールアウトを実現し、その正確性は、元のモデルとの出力の高速並列検証によって保証される。
SpecActorは、(1)GPU計算効率を最大化して大バッチ実行のスピードアップを実現する \emph{dynamic decoupled speculation} 実行方法 -- トレーニングに共通するが投機的実行には適さない構成 - と(2) ロールアウトの進捗に応じて異なるドラフトメソッドを選択し、組み合わせる \emph{dynamic Best-of-N speculation} メソッドによって、投機的ロールアウトにおける2つの基本的な課題に対処する。
計算資源の追加を必要とせず、最良な起草方法が未知であっても、投機精度を大幅に向上させる。
1.7}\,$\times$はveRLよりも高速で、1.3-1.5}\,$\times$は投機的復号化のベースラインよりも高速である。
関連論文リスト
- Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。
コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
論文 参考訳（メタデータ） (2025-10-20T23:38:12Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning [11.68914161151634]
グループ相対ポリシー最適化(GRPO)は、大規模言語モデルの推論能力を改善する上で大きな可能性を証明している。
本稿では, リアルタイムレベルに応じて, ドラフトと検証戦略を調整する投機的復号化フレームワークを提案する。
提案手法は,2.35xから2.72xまでのエンドツーエンドの高速化を実現し,効率性においてベースラインアプローチを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2025-09-26T02:48:41Z) - READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。
このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。
本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
論文 参考訳（メタデータ） (2025-08-12T16:47:48Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳（メタデータ） (2025-05-28T14:03:02Z) - SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting [12.317709090608837]
SpecEEは投機的早期終了を伴う高速推論エンジンである。
SpecEEはクラウドとPCのシナリオでそれぞれLlama2-7Bで2.25倍と2.43倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-04-11T02:38:53Z) - Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。
本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
論文 参考訳（メタデータ） (2024-08-10T21:24:25Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。