論文の概要: DEdit: Iterative Draft Editing for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.38510v1
• Date: Tue, 29 Sep 2026 20:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.717883
• Title: DEdit: Iterative Draft Editing for Speculative Decoding
• Title（参考訳）: DEdit: 投機的デコードのための反復的なドラフト編集
• Abstract要約: DEditは拡散ベースのドラフトラであり、トークンからトークンへの予測を通じて、そのドラフトを反復的に編集する。 ProposalMixは、トレーニング中にファーストパスの信頼度に基づいて、ドラフト予測とグランドトルーストークンを混合するトレーニングスキームである。
• 参考スコア（独自算出の注目度）: 30.188554390021878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates autoregressive LLMs by having a lightweight drafter propose tokens that the target model verifies in parallel. Diffusion-based drafters further reduce drafting latency by proposing multiple tokens at once. However, these tokens are predicted independently, so a single early error causes prefix verification to discard the rest of the draft, even when it contains useful downstream predictions. We introduce DEdit, a diffusion-based drafter that can not only draft by conventional parallel unmasking but also iteratively edit its draft through token-to-token predictions. Through editing, later predictions can serve as bidirectional context for repairing earlier errors and extending the accepted prefix. To teach the model to repair errors while preserving correct predictions, we propose ProposalMix, a training scheme that mixes draft predictions with ground-truth tokens based on first-pass confidence during training. Across seven benchmarks on Qwen3-4B and Qwen3-8B, DEdit achieves the highest macro-average token acceptance and speedup among the evaluated drafters, reaching macro-average speedups of $5.72\times$ and $5.97\times$ over autoregressive generation under greedy decoding, respectively. Further analysis shows that acceptance improves with more editing passes and wider drafting windows, and that ProposalMix halves harmful edits that shorten the accepted prefix. Moreover, restricting the editor to causal attention lowers acceptance, especially on highly predictable outputs, indicating that future context is a key source of these gains.
• Abstract（参考訳）: 投機的復号化は、軽量な起草者が目標モデルが並列に検証するトークンを提案することにより、自己回帰LDMを加速させる。 拡散ベースのドラフトラは、複数のトークンを一度に提案することで、ドラフトのレイテンシをさらに削減します。 しかし、これらのトークンは独立して予測されるため、単一の早期エラーは、たとえ下流の予測が役に立つ場合でも、プレフィックス検証がドラフトの残りの部分を破棄する原因となる。 DEditは,従来のパラレルアンマキングによるドラフト作成だけでなく,トークン・ツー・トークンの予測を通じてそのドラフトを反復的に編集できる拡散型ドラフトシステムである。 編集によって、後の予測は、以前のエラーを修復し、受け入れられたプレフィックスを拡張するための双方向のコンテキストとして機能する。 正しい予測を保ちながら誤りの修正をモデルに教えるために,トレーニング中のファーストパス信頼度に基づいて,ドラフト予測とグランドトラストトークンを混合したトレーニングスキームであるProductMixを提案する。 Qwen3-4B と Qwen3-8B の7つのベンチマークにおいて、DEdit は評価されたドラフト作成者の中で、最大でマクロ平均トークンの受け入れとスピードアップを達成し、それぞれ5.72\times$と5.97\times$のマクロ平均スピードアップを達成した。 さらなる分析では、より多くの編集パスとより広い起草ウィンドウによって受け入れが改善し、提案Mixは受け入れられたプレフィックスを短くする有害な編集を半減することを示している。 さらに、編集者が因果的注意に制限されることは、特に高い予測可能なアウトプットの受け入れを低下させ、将来の状況がこれらの利益の鍵となることを示唆している。

関連論文リスト

• Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
  投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。 従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。 パラレルドラフト-検証--ドラフトトレーニングを導入する。
  論文  参考訳（メタデータ） (2026-09-13T18:20:31Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
  最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。 D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。 結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
  論文  参考訳（メタデータ） (2026-06-03T04:48:00Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。