論文の概要: Multi-Draft On-Policy Distillation for Diffusion Drafters
- arxiv url: http://arxiv.org/abs/2610.37778v1
- Date: Tue, 27 Oct 2026 18:02:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:47:25.848002
- Title: Multi-Draft On-Policy Distillation for Diffusion Drafters
- Title（参考訳）: 拡散乾燥機用多滴オンポリー蒸留法
- Abstract要約: 1ステップ拡散ドラフトラは、複数のトークンのブロックを並列に提案する。
オンライン蒸留は、検証者自身の提案に対するフィードバックを用いて、これらの起草者を訓練する。
異なるサンプルプレフィックスは、同じドラフト作成者予測のために異なる検証対象を与える。
これらの目的に対して蒸留を行うことは、一部の接頭辞で証明できるが、他の接頭辞では不可能なトークンを別々に抑制できることを示す。
- 参考スコア（独自算出の注目度）: 41.80363497366289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding is used to reduce the inference cost of language models. One-step diffusion drafters propose a block of multiple tokens in parallel, reducing the sequential cost of speculative decoding. On-policy distillation trains these drafters using verifier feedback on their own proposals. However, parallel drafting makes this feedback difficult to use: the drafter predicts each token without observing the preceding tokens sampled within the same block, while the verifier conditions its prediction on those tokens. Different sampled prefixes therefore give different verifier targets for the same drafter prediction. We show that distilling against these targets separately can suppress tokens that are plausible after some prefixes but unlikely after others, harming draft acceptance. We explain the effects of this mismatch and introduce Multi-Draft On-Policy Distillation (MDraft), a new parallel drafter distillation method which samples several draft blocks from the same context and aggregates the verifier's full-vocabulary conditionals across their prefixes. We use all the drafts to collect information from the verifier, allowing support from alternative prefixes to influence the training target. The resulting algorithm improves the acceptance length of a parallel drafter beyond the level of pre-training, and alleviates the effects of the distributional mismatch. MDraft changes only training, retaining the drafter's architecture and inference procedure, allowing the resulting drafter to be used as-is in place of the pretrained checkpoint. Experiments on a suite of mathematical, coding, and conversational tasks show longer accepted drafts than prior distillation methods.
- Abstract（参考訳）: 投機的復号化は、言語モデルの推論コストを低減するために用いられる。
1ステップの拡散ドラフトラは複数のトークンのブロックを並列に提案し、投機的復号のシーケンシャルコストを低減させる。
オンライン蒸留は、検証者自身の提案に対するフィードバックを用いて、これらの起草者を訓練する。
しかし、パラレルなドラフト作成は、このフィードバックを使用しにくくする: ドラフト作成者は、同じブロック内でサンプリングされた前のトークンを観察することなく、それぞれのトークンを予測し、検証者はそれらのトークンに対してその予測を条件付ける。
したがって、異なるサンプルプレフィックスは、同じドラフト作成者予測のための異なる検証対象を与える。
これらの目的に対して蒸留を行うことは、一部の接頭辞で証明可能なトークンを抑えることができるが、他の接頭辞ではありそうもないトークンを抑えることができ、ドラフトの受理を損なう。
このミスマッチの効果を説明し、同じ文脈から複数のドラフトブロックを抽出し、検証者の全語彙条件をプレフィックスに集約する新しいパラレルドラフトラー蒸留法であるMulti-Draft On-Policy Distillation (MDraft)を導入する。
すべてのドラフトを使って検証者から情報を収集し、代替接頭辞から学習目標に影響を与えることができる。
得られたアルゴリズムは、事前学習のレベルを超えた並列ドラフトラの受け入れ長を改善し、分散ミスマッチの効果を軽減する。
MDraftはトレーニングのみを変更し、ドラフト作成者のアーキテクチャと推論手順を維持し、トレーニング済みのチェックポイントの代わりにドラフト作成者がそのまま使用できるようにする。
数学的、コーディング、会話的なタスクの一連の実験は、以前の蒸留法よりも長く受け入れられたドラフトを示している。
関連論文リスト
- Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文 参考訳（メタデータ） (2026-09-29T07:58:49Z) - Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。
従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。
パラレルドラフト-検証--ドラフトトレーニングを導入する。
論文 参考訳（メタデータ） (2026-09-13T18:20:31Z) - DFlow: Enabling Verifier Information Flow in Block Diffusion Speculative Decoding [25.203742152821548]
筆者らは,ドラフトラウンドをまたいで検証情報を流すフレームワークであるDFlowを提案する。
DFlowは、削除された接尾辞のためにターゲット検証者によって生成された隠された状態を再利用し、その後の起草をガイドする。
さまざまなベンチマークを対象としたQwen3モデルの実験では、DFlowがDFlashよりもドラフト品質と受け入れ期間を一貫して改善していることが示されている。
論文 参考訳（メタデータ） (2026-09-06T09:25:56Z) - DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding [26.72775347772003]
対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
論文 参考訳（メタデータ） (2026-08-05T22:49:54Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。
D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。
結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
論文 参考訳（メタデータ） (2026-06-03T04:48:00Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:30:22Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z) - AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability [5.421949344085942]
AdaEDLは、静的なドラフト長の投機的デコーディングを10%から57%上回っている。
また、AdaEDLはこれらの技術よりも堅牢であり、高温シナリオにおける性能を保っていることを示す。
論文 参考訳（メタデータ） (2024-10-24T01:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。