論文の概要: Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.11750v1
• Date: Thu, 08 Oct 2026 11:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.984135
• Title: Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding
• Title（参考訳）: ドラフトツリーがターゲットの質量を失う場所:Exit-Guided Speculative Decoding
• Abstract要約: ツリーベースの投機的復号化は、1つのターゲットモデルパスで複数のドラフト継続を検証する。 ドラフトスコアから構築された有限木は、基本的なドラフトターゲットミスマッチに直面します。 より正確な検証により、固定木への受け入れが向上し、ターゲットフィードバックがツリー自体を改善することができるかどうかを問う。
• 参考スコア（独自算出の注目度）: 24.85822818582972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree-based speculative decoding verifies multiple draft continuations in one target-model pass, but finite trees built from draft scores face a fundamental draft-target mismatch. We ask whether better exact verification can increase acceptance on a fixed tree and how target feedback can improve the tree itself. Through a target-flow view, we identify a canonical exit law and prove that one plus target coverage sharply bounds the expected output-block length, including the bonus token, of any exact path verifier. All optimal verifiers share the same exit and bonus-token law, already attained by representative predraw-and-follow and sequential residual verifiers. This yields Tree Exit Verification (TEV), an exact, level-parallel procedure using one exit-node decision and one bonus-token decision. The exit law also identifies missing target probability, providing node-level feedback for Exit-Guided Draft-Tree Training (ExitTrain) on inference-time draft trees. Experiments across dialogue, code, and mathematical reasoning validate fixed-tree equivalence: ExitTrain increases average output-block length by 13%, while TEV reduces verifier-stage latency by 15%, yielding a 14% end-to-end speedup over DDTree. Our results distinguish two opportunities: better draft trees for higher acceptance and more direct verification for lower latency. Code: https://github.com/hsj576/TEV.
• Abstract（参考訳）: 木に基づく投機的復号化は、1つのターゲットモデルパスで複数のドラフト継続を検証するが、ドラフトスコアから構築された有限木は、基本的なドラフトターゲットミスマッチに直面している。 より正確な検証により、固定木への受け入れが向上し、ターゲットフィードバックがツリー自体を改善することができるかどうかを問う。 ターゲットフロービューを通じて、正準出口法則を特定し、任意の正確なパス検証器のボーナストークンを含む出力ブロック長を1プラス対象範囲が鋭く有界であることを証明する。 すべての最適な検証者は、同じ出口法とボーナス・ツーケン法を共有しており、すでに代表的プレドロー・アンド・フォロー・シーケンシャルな残差検証によって達成されている。 これにより、Tree Exit Verification (TEV)は、1つの出口ノード決定と1つのボーナストークン決定を使った正確なレベルパラレル手順である。 Exit-Guided Draft-Tree Training (ExitTrain)にノードレベルのフィードバックを提供する。 ExitTrainは平均出力ブロック長を13%増加させ、TEVは検証器のステージ遅延を15%減少させ、DDTreeよりも14%のエンドツーエンドのスピードアップをもたらす。 より優れたドラフトツリーによる高い受け入れと、より直接的なレイテンシ検証の2つの機会を区別します。 コード:https://github.com/hsj576/TEV。

関連論文リスト

• UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding [42.52014320099826]
  UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。 UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
  論文  参考訳（メタデータ） (2026-09-30T15:35:50Z)
• DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
  投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。 Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
  論文  参考訳（メタデータ） (2026-08-13T17:43:44Z)
• TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
  TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。 TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
  論文  参考訳（メタデータ） (2026-08-12T05:30:46Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
  パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。 単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。 本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
  論文  参考訳（メタデータ） (2026-05-30T02:39:40Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration [52.52685988964061]
  Entropy-Treeは、分岐決定の信号としてエントロピーを利用するツリーベースのデコード手法である。 単一の復号処理において、効率的な構造化された探索と信頼性の高い不確実性推定を統一する。
  論文  参考訳（メタデータ） (2026-01-02T07:14:05Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Traversal Verification for Speculative Tree Decoding [15.720388162422978]
  投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。 本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。 提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-18T12:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。