論文の概要: Carryover Drafting: Recycling Rejected States for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.14717v1
• Date: Sun, 13 Sep 2026 18:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.902925
• Title: Carryover Drafting: Recycling Rejected States for Speculative Decoding
• Title（参考訳）: キャリーオーバードラフト:再資源化による投機的復号化
• Abstract要約: 投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。 従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。 パラレルドラフト-検証--ドラフトトレーニングを導入する。
• 参考スコア（独自算出の注目度）: 19.01427604285096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates LLM inference by verifying multiple drafted tokens in parallel, allowing a single target forward pass to accept several tokens. By construction, verification computes representations for both accepted and rejected tokens. Yet, conventional drafters retain only the representations of accepted tokens, leaving the substantial verifier computation spent on rejected tokens effectively wasted. We find that these discarded hidden states generated during target forward retain useful information about future tokens that can improve subsequent drafts. However, realizing this opportunity poses two distinct challenges. At inference, recycling overhead can increase drafting latency, diminishing the speedup gained from increased acceptance length. During training, standard parallel drafter training does not produce inference-aligned rejected states, while obtaining them through sequential rollouts would sacrifice parallelism across training positions. We introduce Carryover Drafting, which addresses both challenges. Carryover recycles rejected target hidden states as temporary KV context, allowing the drafter to selectively attend to them. It reuses the drafter's existing interface and adds only a single learned embedding to distinguish rejected states from committed context. The additional KV context is replaced each drafting round, keeping its length bounded by one proposal block. We introduce parallel draft--verify--draft training that exposes the drafter to inference-aligned rejected states while preserving parallelism across training positions. Experiments with DFlash and a DSpark-derived semi-autoregressive drafter across two target models show that this simple Carryover mechanism improves average acceptance length by 6.5--14.7% and end-to-end vLLM speedup by 7.9--14.4% over the corresponding baselines, with speedup gains reaching 28.8% on translation.
• Abstract（参考訳）: 投機的復号化は、複数のトークンを並列に検証することでLCM推論を加速し、単一のターゲットフォワードパスが複数のトークンを受け入れることができる。 構成により、検証は受理トークンと受理トークンの両方の表現を計算する。 しかし、従来の起草者は受け入れられたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証器の計算は実質的に無駄にされた。 これらの破棄された隠蔽状態は、将来のトークンに関する有用な情報を保持し、その後のドラフトを改善することができる。 しかし、この機会を実現するには2つの異なる課題がある。 推測すると、リサイクルオーバーヘッドはドラフトの遅延を増大させ、受け入れ期間の増加によって得られるスピードアップを減少させる。 トレーニング中、標準の並列プロダクタトレーニングは推論に整合した拒否状態を生成しないが、シーケンシャルなロールアウトを通じてそれらを取得すると、トレーニングポジション間の並列性を犠牲にする。 両課題に対処するCarryover Draftingを紹介します。 Carryoverのリサイクルは、一時的なKVコンテキストとして、ターゲットの隠れた状態を拒否し、ドラフト作成者が選択的にそれらに参加することを可能にする。 ドラフトアの既存のインターフェースを再利用し、拒否された状態とコミットされたコンテキストを区別するために、単一の学習済みの埋め込みのみを追加する。 追加のKVコンテキストはドラフトラウンド毎に置き換えられ、その長さは1つのプロポーザルブロックで制限される。 トレーニング位置の並列性を保ちながら、推論整合しない状態にドラフトを露出させるパラレルドラフト-検証-ドラフトトレーニングを導入する。 DFlashとDSpark由来の半自動起爆装置による実験では、この単純なカリオーバー機構は平均受入距離を6.5-14.7%改善し、エンドツーエンドのvLLMスピードアップは7.9-14.4%向上し、スピードアップは28.8%向上した。

関連論文リスト

• ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding [46.17292752074153]
  本稿では,前回のラウンドから削除された接尾辞に対して,各ドラフトブロックを条件付けするReTraceを紹介する。 ReTraceは、DFlashバックボーン上で、平均受信長とエンドツーエンドの復号速度を継続的に改善する。
  論文  参考訳（メタデータ） (2026-08-30T12:20:54Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
  最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。 D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。 結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
  論文  参考訳（メタデータ） (2026-06-03T04:48:00Z)
• FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration [21.05266483397106]
  FlexDraftは投機的デコードフレームワークで、3つの重要な設計を通じて様々なバッチサイズに対応します。 Attention Tuningは、マスクトークン上の最後の数層の注意プロジェクタのみをチューニングすることで、ブロック拡散のドラフトを可能にする。 Bonus-guidedは、解決されたボーナストークンに軽量な条件を付け、ドラフトロジットを校正する。
  論文  参考訳（メタデータ） (2026-05-19T15:48:16Z)
• D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
  投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。 最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。 各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。 6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
  論文  参考訳（メタデータ） (2026-05-12T06:27:57Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。