論文の概要: PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding
- arxiv url: http://arxiv.org/abs/2607.22634v1
- Date: Sat, 20 Jun 2026 14:32:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.996689
- Title: PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding
- Title（参考訳）: PRESTO: 拡散投機デコードのためのプレフィックスアラインツリードラフト
- Abstract要約: PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 98.71600061506206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Large Language Models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, generating tokens in parallel. This makes them effective draft models for speculative decoding (SD), producing an entire block of draft tokens in a single forward pass. Yet existing diffusion-based drafting methods rely on linear drafting, even though dLLMs emit multiple candidate tokens across positions, inducing a large combinatorial space of decoding paths. Consequently, they limit acceptance length and decoding efficiency. To exploit this multi-candidate structure, we apply tree-based drafting to diffusion drafters, enabling exploration of diverse candidate paths. However, we find that naive tree drafting is suboptimal: diffusion marginals are prefix-blind, mismatching the prefix-based AR verification and yielding unreliable path ranking. We propose PRESTO, a principled framework that extends tree-based drafting to diffusion drafters while resolving the fundamental mismatch between diffusion draft confidence and prefix-based AR verification through PREfix-aligned Scoring and priority-based Tree search for diffusion speculative decOding. The key principles behind PRESTO are that (1) candidate ranking should align with the prefix-based nature of AR verification, and (2) tree construction should prioritize candidate paths with high verification potential to maximize acceptance length. Extensive experiments show that PRESTO achieves up to an average of $1.5\times$ end-to-end throughput speedup on the state-of-the-art dedicated diffusion drafter SD and an average of $1.12\times$ on self-speculative diffusion LLMs across diverse benchmarks.
- Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は自己回帰(AR) LLM に代わる有望な代替品として登場し、トークンを並列に生成している。
これにより、投機的復号化(SD)のための効果的なドラフトモデルが作成され、1つのフォワードパスで1ブロックのドラフトトークンが生成される。
しかし、既存の拡散ベースの草案作成法は、dLLMが複数の候補トークンを位置にわたって出力しているにもかかわらず、線形草案作成に依存しており、デコードパスの大規模な組合せ空間を誘導している。
これにより、受信長と復号効率が制限される。
この多候補構造を利用するために,木に基づくドラフトを拡散ドラフトに適用し,多様な候補経路の探索を可能にする。
拡散限界はプレフィックスブラインドであり、プレフィックスベースのAR検証と不一致し、信頼できないパスランキングを得る。
PRESTOは、拡散ドラフトの信頼度とプレフィックスによるAR検証の基本的なミスマッチを、プレフィックス整列 Scoring と優先度に基づくツリー探索により解決し、拡散ドラフトラにツリーベースのドラフトを拡張できる、原則化されたフレームワークである。
PRESTOの背景にある重要な原則は、(1)候補ランキングはAR検証のプレフィックスベースの性質と一致すべきであり、(2)木構築は受理期間を最大化するために高い検証可能性を持つ候補パスを優先すべきである。
大規模な実験により、PRESTOは最先端の専用拡散プロダクタSDで平均$1.5\times$エンドツーエンドスループットのスピードアップを達成し、様々なベンチマークで自己投機拡散LLMで平均$1.12\times$を達成することが示されている。
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge [93.37920675145553]
拡散言語モデル (DLMs) は並列デコーディングによる大幅な速度優位性を提供する。
トークン依存関係の欠如は、自動回帰(AR)モデルと比較して生成品質を制限します。
最近の進歩は、DLMが提案、ARが目標として、重要サンプリングによってギャップを埋めようとしている。
本稿では,生成速度と精度を大幅に向上させる新しいデコードフレームワークPoE-Bridgeを紹介する。
論文 参考訳（メタデータ） (2026-06-06T08:21:06Z) - D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models [27.44373450962651]
最近の拡散ベースのドラフトラはトークンのブロック全体を並列に生成するが、通常は検証毎に単一のドラフトシーケンスにコミットする。
D2SDは,候補を信頼誘導プレフィックスツリーに整理する,二重拡散ドラフト投機的復号化フレームワークである。
結果として得られた共有誘導候補は、カスケードの注意を通して共同で検証される。
論文 参考訳（メタデータ） (2026-06-03T04:48:00Z) - TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。
単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。
本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
論文 参考訳（メタデータ） (2026-05-30T02:39:40Z) - Dynamic Delayed Tree Expansion For Improved Multi-Path Speculative Decoding [35.984745508100595]
本稿では,モデルファミリー,タスク,サンプリング体制間の検証戦略を体系的に評価する。
Traversal Verificationは、OTベースのメソッドがはるかに遅れているため、一貫して支配的だ。
我々は,部分的な単一経路を起草し,分岐点を遅らせる遅延木拡張を提案する。
論文 参考訳（メタデータ） (2026-02-19T01:41:58Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Traversal Verification for Speculative Tree Decoding [15.720388162422978]
投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。
本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。
提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
論文 参考訳（メタデータ） (2025-05-18T12:51:55Z) - Towards Optimal Multi-draft Speculative Decoding [102.67837141152232]
MDSD(Multi-Draft Speculative Decoding)は、各トークンを生成する際に、小さなドラフトモデルで複数のドラフトを生成する手法である。
本稿では、最適輸送問題の双対性について論じ、最適受容率を効率的に計算する方法を提供する。
論文 参考訳（メタデータ） (2025-02-26T03:22:44Z) - FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling [59.8051705468084]
投機的サンプリングは,大規模言語モデルの自己回帰生成プロセスを促進する重要な手法として登場した。
本稿では、語彙空間圧縮によるドラフト候補選択を最適化する周波数ランクの投機的サンプリングフレームワークFR-Specを提案する。
論文 参考訳（メタデータ） (2025-02-20T18:58:10Z) - Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。
本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。
我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文 参考訳（メタデータ） (2024-07-23T06:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。