論文の概要: One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting

• arxiv url: http://arxiv.org/abs/2610.33379v1
• Date: Sat, 24 Oct 2026 00:24:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.315707
• Title: One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
• Title（参考訳）: 1つのコール:拡散ドラフトによる自己投機的デコーディングのパッケージ化
• Abstract要約: 本稿では,投機幅に線形な入力サイズを持つ単一モデルコールにおいて,自己投機的復号化スケジュールであるPacked-SSを紹介する。 Nemotron 3B/8B と SetDLM 1.7B の実験は、強欲な復号化の下で、両方のベースラインよりも高いスループットと平均壁時間を示している。
• 参考スコア（独自算出の注目度）: 4.500705209295945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive (AR) language models generate tokens sequentially, so generating long outputs is costly. Speculative decoding mitigates this by using a lightweight drafter to propose multiple tokens for the target AR model to verify in parallel, while a diffusion-based drafter can produce an entire draft block in one forward pass. In models with AR and diffusion modes, one network both drafts and verifies, but drafting still waits for verification, so the standard schedule needs two sequential model calls per iteration. Existing one-call schedules avoid the wait but incur input size quadratic in the speculative width. Motivated by this efficiency bottleneck, we introduce Packed-SS, a self-speculative decoding schedule that verifies and drafts in a single model call with input size linear in the speculative width, while preserving the target model's distribution. The key idea is to let the diffusion drafter run one call ahead: while verifying the current draft, the model simultaneously constructs the next draft from an older verified prefix and keeps its unresolved suffix for the next iteration. Under a mild monotonicity assumption on the drafter, we further show that Packed-SS requires no more model calls than the standard two-call decoding in the greedy setting. Experiments on Nemotron 3B/8B and SetDLM 1.7B show higher throughput and lower mean wall time than both baselines under greedy decoding.
• Abstract（参考訳）: 自動回帰(AR)言語モデルはトークンを逐次生成するので、長い出力を生成するのにコストがかかる。 投機的復号化は、軽量なドラフトラを使用して、ターゲットARモデルの複数のトークンを並列に検証し、拡散ベースのドラフトラが1つのフォワードパスでドラフトブロック全体を生成可能にすることでこれを緩和する。 ARと拡散モードを持つモデルでは、1つのネットワークがドラフトと検証の両方を行うが、ドラフトはまだ検証を待つため、標準スケジュールではイテレーション毎に2つのシーケンシャルモデルコールが必要になる。 既存のワンコールスケジュールは、投機幅で2倍の入力サイズになるのを避ける。 この効率のボトルネックに動機づけられたPacked-SSは、ターゲットモデルの分布を保ちながら、投機幅に線形な入力サイズを持つ単一モデル呼び出しにおける検証とドラフトを行う自己投機的復号スケジュールである。 現在のドラフトを検証する一方で、モデルは古い検証済みのプレフィックスから次のドラフトを同時に構築し、次のイテレーションで未解決のサフィックスを保持します。 ドラフト作成者に対する軽度の単調性仮定の下では、Packed-SSが標準の2コールデコーディングよりもモデルコールを必要としないことを示す。 Nemotron 3B/8B と SetDLM 1.7B の実験は、強欲な復号化の下で、両方のベースラインよりも高いスループットと平均壁時間を示している。

関連論文リスト

• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference [14.527697328189362]
  本稿では,新しいクエリ・アンド・コレクト・パラダイムを用いたCARDという投機的復号化フレームワークを提案する。 提案手法は,提案手法を検証から切り離し,詳細な調整を伴わずに効果的にドラフトモデルの効率を向上する。 CARDは既存の最先端の手法よりも優れており、バニラ自己回帰復号よりも最大4.83倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-08-06T14:02:10Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
  投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。 本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。 DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2023-10-12T16:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。