論文の概要: DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding
- arxiv url: http://arxiv.org/abs/2610.27379v1
- Date: Mon, 19 Oct 2026 23:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.541597
- Title: DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding
- Title（参考訳）: DStill: ブロック拡散投機復号における1ステップの高速化のための軌道整合蒸留
- Abstract要約: ブロック拡散投機的復号化は、複数のトークンを並列にドラフトすることで、大きな言語モデル推論を加速する。
離散拡散における一段階のドラフトはトークン分解誤差によって制限される。
DStillは、ターゲット条件付きドラフト作成者自身の多段階改良を1段階のドラフト作成に蒸留するフレームワークである。
- 参考スコア（独自算出の注目度）: 4.728206157621192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Block-diffusion speculative decoding accelerates large language model inference by drafting multiple tokens in parallel. However, one-step drafting in discrete diffusion is limited by token factorization error: each token is predicted from the same masked block, without conditioning on the tokens selected at other positions in that step. This can produce inconsistent drafts and reduce acceptance length. Iterative refinement mitigates this limitation by conditioning later predictions on previously committed tokens, though additional passes increase drafting cost. To address this trade-off between draft fidelity and inference latency, we introduce DStill, a two-stage framework that distills a target-conditioned drafter's own multi-step refinement into one-step drafting. We first train the drafter to complete partially revealed blocks, then use its refinement trajectories to train a student to predict the final completion in one pass. Using a curriculum that gradually transitions from partial to fully masked inputs, we successfully transfer the multi-step refinement capabilities into one step. Across reasoning, math, code benchmarks on three model families DStill improves acceptance length by up to 28% and speedup by up to 25% over one-step DFlash, achieving up to 6.45x speedup over auto-regressive decoding.
- Abstract（参考訳）: ブロック拡散投機的復号化は、複数のトークンを並列にドラフトすることで、大きな言語モデル推論を加速する。
しかし、離散拡散における一段階の起草はトークン分解誤差によって制限される:各トークンは同じマスキングブロックから予測され、そのステップで選択されたトークンを条件にしない。
これにより、一貫性のないドラフトを生成し、受け入れ期間を短縮できる。
イテレーティブ・リファインメント(Iterative refinement)は、後続のトークンの予測を条件にすることで、この制限を緩和するが、追加のパスはドラフトコストを増大させる。
DStillは、ターゲット条件のドラフト作成者自身の多段階改良を1段階のドラフトに蒸留する2段階のフレームワークである。
まず、ドラフトをトレーニングして、部分的に明らかにされたブロックを完了させ、次にその改善軌跡を使用して、学生に1回のパスで最終完了を予測するように訓練します。
部分的な入力から完全にマスクされた入力へと徐々に移行するカリキュラムを用いて、我々は多段階改良能力を1ステップに移行することに成功している。
推論、数学、3つのモデルファミリ上のコードベンチマーク DStillは、受け入れ期間を最大28%改善し、1ステップのDFlashよりも25%高速化し、自動回帰デコーディングよりも最大6.45倍のスピードアップを達成する。
関連論文リスト
- DLoop: Looped Speculative Decoding [57.84976863792784]
投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。
検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。
提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
論文 参考訳（メタデータ） (2026-10-06T02:55:25Z) - D-Loop: Looped Diffusion Drafting for Speculative Decoding [40.63736504523389]
ブロック拡散は、1つのフォワードパスで複数のトークンを起草することで投機的復号化を加速する。
各位置は、以前の提案されたトークンを観察せずに限界分布を予測し、ドラフト品質と受け入れ長を制限する。
最近の手法では、追加の因果頭部または別々に訓練されたドラフトナーで限界予測を洗練させる。
D-Loopを提案する。これは、モデルコンポーネントを追加せずにオリジナルの拡散プロダクタ内にエンピントラブロック因果条件を導入する。
論文 参考訳（メタデータ） (2026-10-05T09:08:24Z) - D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。
最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。
各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。
6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
論文 参考訳（メタデータ） (2026-05-12T06:27:57Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - PARD: Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation [4.031603850949324]
本稿では,自動回帰ドラフトモデルの並列ドラフトモデルへの低コストな適応を可能にする新しい投機的復号化手法を提案する。
提案した条件付きドロップトークン法は,ドラフトモデルのトレーニング効率を3倍に向上させることができる。
最適化された推論フレームワークでは、PARDはLLaMA3.1-8B推論を4.08倍高速化し、毎秒311.5トークンを達成する。
論文 参考訳（メタデータ） (2025-04-23T12:27:43Z) - Exploring and Improving Drafts in Blockwise Parallel Decoding [37.295672367973886]
言語モデルの推論速度を改善する手法として,Sternらによりブロックワイド並列復号法 (BPD) が提案された。
本稿では,ブロックドラフトの理解と改善に2つの方法で貢献する。
改良されたブロックドラフトは、ブロック効率が+5-21%向上することを示した。
論文 参考訳（メタデータ） (2024-04-14T11:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。