論文の概要: Acceptance-Aware Draft Model Training for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2609.24150v1
- Date: Mon, 21 Sep 2026 06:02:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.091277
- Title: Acceptance-Aware Draft Model Training for Speculative Decoding
- Title（参考訳）: 投機復号のためのアクセプタンスを考慮したドラフトモデルトレーニング
- Abstract要約: 提案手法では,投機窓内での受理トークン数を直接最適化する受入長対応学習損失を提案する。
異なるターゲットモデル、ドラフトモデル、タスク、デコード設定にわたる実験により、我々の損失はKLベースのトレーニングよりも受け入れ期間を一貫して改善することが示された。
- 参考スコア（独自算出の注目度）: 10.581975492329114
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Speculative decoding accelerates large language model (LLM) inference by using a lightweight draft model to generate multiple candidate tokens that are verified by the target model in a single forward pass. Its speedup is largely determined by the acceptance length, yet existing draft-model training methods mainly optimize cross-entropy or Kullback-Leibler (KL) divergence as proxies. These objectives encourage distribution matching but do not directly optimize acceptance length, and the acceptance mechanism also differs between greedy and sampling-based decoding. In this work, we propose acceptance-length-aware training losses that directly optimize the expected number of accepted tokens within a speculative window. For greedy verification, we derive an expected accepted length (EAL) loss that explicitly maximizes expected acceptance length. For sampling-based decoding, we introduce a window total variation (WTV) loss that optimizes the overlap between temperature-scaled draft and target distributions while accounting for sequential acceptance dependencies. Both objectives can be further combined with a group-relative reinforcement learning stage (GRPO) using simulated acceptance length as the reward. Experiments across different target and draft models, tasks, and decoding settings show that our losses consistently improve acceptance length over KL-based training. WTV provides particularly strong gains under sampling-based decoding, while EAL better matches greedy verification. These results show that directly optimizing the acceptance objective, with losses tailored to the decoding mode, is more effective than conventional distribution-matching objectives.
- Abstract（参考訳）: 投機的復号化は、1つのフォワードパスでターゲットモデルによって検証される複数の候補トークンを生成するために、軽量なドラフトモデルを使用することで、大言語モデル(LLM)推論を加速する。
そのスピードアップは受容長によって決定されるが、既存のドラフトモデルトレーニング手法は主に交叉エントロピーやクルバック・リーブラー(KL)の分岐をプロキシとして最適化する。
これらの目的は分布マッチングを奨励するが、直接受容長を最適化しない。
本研究では,投機ウィンドウ内での受理トークン数を直接最適化する受入長対応学習損失を提案する。
強欲な検証のためには、期待される許容長(EAL)の損失を導出し、期待される許容長を明示的に最大化する。
サンプリングに基づく復号化では,逐次受入依存性を考慮した場合の,温度スケールのドラフトとターゲット分布の重複を最適化するウィンドウトータル変分(WTV)の損失を導入する。
どちらの目的も、模擬受入長を報酬として用いたグループ相対強化学習段階(GRPO)とさらに組み合わせることができる。
異なるターゲットモデル、ドラフトモデル、タスク、デコード設定にわたる実験により、我々の損失はKLベースのトレーニングよりも受け入れ期間を一貫して改善することが示された。
WTVはサンプリングベースの復号化の下で特に強力なゲインを提供し、EALはグレディな検証にマッチする。
これらの結果から,復号モードに適合した損失を伴って受容対象を直接最適化することは,従来の分布マッチング対象よりも効果的であることが示唆された。
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding [26.72775347772003]
対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
論文 参考訳（メタデータ） (2026-08-05T22:49:54Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding [67.61563011564388]
投機的復号化は自己回帰型大言語モデル(LLM)推論を加速させる。
標準トレーニングは、プロキシ目的としてKullback-Leibler(KL)の発散を最小限にする。
受入率を直接目標とする特別な訓練目標であるLK損失を提案する。
論文 参考訳（メタデータ） (2026-02-27T10:20:11Z) - Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding [13.249778063956917]
投機的復号化は、トークンを軽量なドラフトモデルで提案することにより、大きな言語モデル推論を加速する。
この研究は、ドラフトトークンとターゲットモデルの予測分布をマッチングする新しいアプローチであるDropMatchを導入している。
複数のベンチマークで実験したところ、我々のアプローチは、競争力のあるタスク性能を維持しながら、受け入れ期間を延ばすことが示されている。
論文 参考訳（メタデータ） (2026-02-11T04:53:33Z) - Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match [21.810129153556044]
訓練不要な投機的復号法(FLy)は、厳密な検証基準を緩める新しい手法である。
FLyは目標モデルの精度の99%以上を維持し,平均2.81倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-11-28T08:23:30Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z) - Towards Optimal Multi-draft Speculative Decoding [102.67837141152232]
MDSD(Multi-Draft Speculative Decoding)は、各トークンを生成する際に、小さなドラフトモデルで複数のドラフトを生成する手法である。
本稿では、最適輸送問題の双対性について論じ、最適受容率を効率的に計算する方法を提供する。
論文 参考訳（メタデータ） (2025-02-26T03:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。