論文の概要: DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding
- arxiv url: http://arxiv.org/abs/2608.05448v1
- Date: Wed, 05 Aug 2026 22:49:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.668372
- Title: DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding
- Title（参考訳）: DBLAST:確率的投機的デコードのための依存ブロックドラフト
- Abstract要約: 対象サンプリング分布のエントロピーが増加するにつれて,受理されたドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づいて,受入指向の学習目標を補完する依存ブロック起草手法を提案する。
- 参考スコア（独自算出の注目度）: 26.72775347772003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates large language models' inference by using a lightweight drafter to propose multiple future tokens and a target model to verify them. While recent block and diffusion-style drafters can predict several positions in a single pass, their training and sampling procedures are typically optimized for greedy decoding or assume that positions in the draft block are conditionally independent. This assumption becomes brittle in non-greedy speculative decoding, where the target distribution is deliberately stochastic and multiple continuations become plausible. We study this mismatch for block diffusion drafters and show that the accepted draft length degrades as the entropy of the target sampling distribution increases. We propose a dependent block drafter based on a low-rank latent mixture over token positions, complemented by an acceptance-oriented training objective that directly targets the expected verified length. Experiments with Qwen3-4B and Qwen3-8B on GSM8K, MT-Bench, HumanEval, and creative-writing benchmarks show that our approach, namely DBLast, consistently improves accepted length over independent block sampling, especially in higher-entropy decoding regimes.
- Abstract（参考訳）: 投機的復号化は、複数の将来のトークンとターゲットモデルを提案するために軽量なドラフトラを使用することで、大規模言語モデルの推論を加速する。
最近のブロックと拡散スタイルのドラフトラは、1回のパスで複数の位置を予測できるが、トレーニングとサンプリング手順は典型的には、グレディ復号のために最適化される。
この仮定は、対象の分布が故意に確率的であり、多重連続が妥当となる非グリーディ投機的復号法において不安定となる。
本研究では, ブロック拡散型ドラフトラのミスマッチについて検討し, ターゲットサンプリング分布のエントロピーが増大するにつれて, 許容するドラフト長が劣化することを示す。
本稿では,トークン位置上での低ランク遅延混合に基づく依存ブロック起草機を提案し,予測された検証長を直接ターゲットとした受入指向学習目標を補完する。
GSM8K, MT-Bench, HumanEval, and creative-writing benchmarks における Qwen3-4B および Qwen3-8B を用いた実験により, 高エントロピー復号方式では, DBLast は独立ブロックサンプリングよりも許容長を一貫して改善していることがわかった。
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - Accelerating Speculative Diffusions via Block Verification [77.23389794645801]
投機的復号化は、トークンを生成するためにドラフトモデルを使用することでLLM推論を高速化する。
既存の拡散適応は非効率的なサンプリング技術を使うか、代替のスキームに依存する。
本稿では,拡散モデルに対して,従来の投機的サンプリング機構を効率的に実装する新しい手法を提案する。
論文 参考訳（メタデータ） (2026-06-11T14:54:13Z) - Teaching Diffusion to Speculate Left-to-Right [3.205247598097648]
大規模言語モデル(LLM)は、幅広いタスクにわたって顕著なパフォーマンスを達成するが、その自己回帰的復号処理は、かなりの推論コストを発生させる。
投機的復号化はこのボトルネックに対処するため、軽量なドラフトモデルを使用して、後により大きなターゲットモデルによって並列に検証される複数の将来のトークンを提案する。
最近の研究は、拡散言語モデルがこの設定に適しており、パラレルでドラフトトークンのブロック全体を生成できることを実証している。
論文 参考訳（メタデータ） (2026-06-10T01:21:56Z) - D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。
D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。
結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
論文 参考訳（メタデータ） (2026-06-03T04:48:00Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:30:22Z) - D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。
最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。
各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。
6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
論文 参考訳（メタデータ） (2026-05-12T06:27:57Z) - Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding [13.249778063956917]
投機的復号化は、トークンを軽量なドラフトモデルで提案することにより、大きな言語モデル推論を加速する。
この研究は、ドラフトトークンとターゲットモデルの予測分布をマッチングする新しいアプローチであるDropMatchを導入している。
複数のベンチマークで実験したところ、我々のアプローチは、競争力のあるタスク性能を維持しながら、受け入れ期間を延ばすことが示されている。
論文 参考訳（メタデータ） (2026-02-11T04:53:33Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Draft Model Knows When to Stop: Self-Verification Speculative Decoding for Long-Form Generation [64.59292053188264]
主流SDベンチマークと推論重ベンチマークの実験結果から,SVIPの優れた性能が示された。
SVIPは、ドラフトエントロピーを参照して、ドラフトシーケンスの長さを適応的に決定する、投機的復号システムのためのトレーニング不要な動的長さポリシーである。
論文 参考訳（メタデータ） (2024-11-27T15:53:17Z) - AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability [5.421949344085942]
AdaEDLは、静的なドラフト長の投機的デコーディングを10%から57%上回っている。
また、AdaEDLはこれらの技術よりも堅牢であり、高温シナリオにおける性能を保っていることを示す。
論文 参考訳（メタデータ） (2024-10-24T01:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。