論文の概要: D3Tree: Learning to Prune Block-Diffusion Draft Trees for Efficient Verification
- arxiv url: http://arxiv.org/abs/2611.11371v1
- Date: Sun, 08 Nov 2026 13:29:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.003987
- Title: D3Tree: Learning to Prune Block-Diffusion Draft Trees for Efficient Verification
- Title(参考訳): D3Tree: 効率的な検証のためのブロック拡散ドラフトツリーのプルーニング
- Abstract要約: D3Treeは、ブロック拡散ドラフトツリーのどのノードが検証に値するかを学ぶ。
72の負荷設定のうち70で最速で、3.2-4.0倍のスピードアップを1回の要求で自動回帰復号する。
到着フェーズ毎に、平均的なエンドツーエンドのレイテンシが低くなります。
- 参考スコア(独自算出の注目度): 15.498234694487339
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Block-diffusion drafters propose a whole block of tokens in one forward pass, and draft trees built from their position-wise marginals increase the expected accepted length of speculative decoding. Every tree node occupies a query row in target verification, so under concurrent serving low-yield branches compete with other requests for verification capacity. Existing tree methods select verified nodes by draft probability under a fixed or cost-selected per-request budget, and thus always retain a prefix of the drafter's ranking. We present D3Tree, which learns which nodes of a block-diffusion draft tree are worth verifying. A tree-size head with 2H+2 parameters predicts each candidate's conditional survival from the draft state, the candidate embedding, and its draft log-probability. Thresholding the product of these scores along parent chains yields an ancestor-closed subtree whose size adapts to each request and decoding round. The head is trained on a frozen drafter with conditional labels on the full candidate tree; an optional joint mode also steers the drafter toward the retained reference path. At serving time, D3Tree verifies whole trees under light load and, under heavy load, allocates one batch-wide node budget by predicted survival, sized to the target's matrix-multiplication tiles. Retained trees share one ancestor-masked target pass, while construction, pruning, and scheduling run on the GPU and overlap with the host. Across six vision-language verifiers and 17 text and multimodal benchmarks, D3Tree is fastest in 70 of 72 load settings, with 3.2-4.0x speedup over autoregressive decoding for one request and 1.3-1.8x at 64 concurrent requests, where fixed-budget trees fall below autoregressive speed. Under a time-varying arrival trace, it has the lowest mean end-to-end latency in every arrival phase.
- Abstract(参考訳): ブロック拡散のドラフトラは1つの前方通過でトークンのブロック全体を提案し、その位置の限界から構築されたドラフトツリーは予想される投機的復号化の長さを増大させる。
各ツリーノードは、ターゲット検証のクエリ行を占有するので、同時に機能する低収率ブランチでは、検証能力に対する他の要求と競合する。
既存のツリーメソッドは、固定またはコスト選択された要求毎の予算の下で、検証済みノードをドラフト確率で選択し、したがって、ドラフトのランキングのプレフィックスを常に保持する。
本稿では,ブロック拡散ドラフトツリーのどのノードが検証に値するかを学習するD3Treeを提案する。
2H+2パラメータのツリーサイズヘッドは、各候補の条件付き生存状態を、ドラフト状態、候補埋め込み、およびドラフトログ確率から予測する。
これらのスコアの積を親鎖に沿って保持すると、そのサイズが各要求に適応し、ラウンドを復号する祖先閉部分木が得られる。
ヘッドは、完全な候補木に条件付きラベルが付いた凍結したドラフトアで訓練され、オプションのジョイントモードは、ドラフトアを保持された参照パスに向けて操縦する。
サービス開始時に、D3Treeは全木を軽量な負荷下で検証し、重い負荷下では、ターゲットの行列乗算タイルに匹敵するサバイバルを予測して1つのバッチワイドノード予算を割り当てる。
保持されたツリーは1つの祖先にマッチしたターゲットパスを共有し、一方、構築、プルーニング、スケジューリングはGPU上で実行され、ホストと重複する。
6つの視覚言語検証と17のテキストとマルチモーダルのベンチマークで、D3Treeは72の負荷設定のうち70の速度で高速で、1つの要求で3.2-4.0x、64の同時要求で1.3-1.8x、固定予算木が自己回帰速度を下回る。
時刻の異なる到着トレースの下では、到着フェーズ毎に、平均的なエンドツーエンドのレイテンシが最低となる。
関連論文リスト
- Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding [24.85822818582972]
ツリーベースの投機的復号化は、1つのターゲットモデルパスで複数のドラフト継続を検証する。
ドラフトスコアから構築された有限木は、基本的なドラフトターゲットミスマッチに直面します。
より正確な検証により、固定木への受け入れが向上し、ターゲットフィードバックがツリー自体を改善することができるかどうかを問う。
論文 参考訳(メタデータ) (2026-10-08T11:40:13Z) - UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding [42.52014320099826]
UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。
UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
論文 参考訳(メタデータ) (2026-09-30T15:35:50Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳(メタデータ) (2026-08-13T17:43:44Z) - TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。
TreeSparkは1ラウンドあたり15~25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8~14%高速にデコードする。
論文 参考訳(メタデータ) (2026-08-12T05:30:46Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳(メタデータ) (2026-06-20T14:32:14Z) - Cost-Aware Diffusion Draft Trees for Speculative Decoding [17.900184934329666]
textbfCaDDTree (Cost-aware Diffusion Draft Tree) は,木構造とノード予算を協調的に選択することで,トークンスループット(単位時間当たりの予測トークン)を直接最適化する手法である。
Qwen3-4BとQwen3-8Bの実験では、推論、コーディング、命令追従タスクにまたがる8つのベンチマークで、caDDTreeがDDTreeとほぼ全てのタスクでオラクルの予算選択と一致または上回っていることが示されている。
論文 参考訳(メタデータ) (2026-06-01T07:29:56Z) - TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees [73.0940890296463]
確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。
TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。
TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。
TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
論文 参考訳(メタデータ) (2026-02-12T06:17:12Z) - Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。
ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
論文 参考訳(メタデータ) (2025-12-26T04:45:49Z) - ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。
シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。
検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
論文 参考訳(メタデータ) (2025-06-01T09:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。