論文の概要: DForkTree: Accelerating Speculative Decoding with Fork-Aware Block Diffusion Draft Trees
- arxiv url: http://arxiv.org/abs/2611.12356v2
- Date: Thu, 12 Nov 2026 06:04:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.888486
- Title: DForkTree: Accelerating Speculative Decoding with Fork-Aware Block Diffusion Draft Trees
- Title(参考訳): DForkTree: フォーク対応ブロック拡散ツリーによる投機的デコーディングの高速化
- Abstract要約: DForkTreeは、各ブランチを独自のトークンで再アンカーする、トレーニング不要のメソッドです。
Qwen3.5-4Bと9Bでは、DForkTreeはベンチマーク毎にすべてのベースラインを上回ります。
- 参考スコア(独自算出の注目度): 7.672301787494086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding speeds up language models by having a lightweight drafter propose future tokens that the target model verifies in parallel. Block diffusion drafters such as DFlash predict an entire block in one forward pass, and DDTree builds draft trees directly from their per-position distributions. Each distribution implicitly assumes that the drafter's own greedy continuation is accepted, whereas a draft tree improves over a chain only on branches that leave this greedy path. Once a path forks, the drafter's top-1 accuracy drops from 89% to 18% and its top candidates often miss the true token. Re-running the drafter from the fork token largely restores its accuracy, showing that the errors stem from conditioning on an outdated prefix rather than from limited model capacity. In this paper, we introduce DForkTree, a training-free method that re-anchors each branch on its own tokens. It adjusts the drafter's scores with pointwise mutual information from target-generated n-grams, weighted more heavily after a fork, and a layer-wise GPU search recovers the exact optimal tree under these scores. On Qwen3.5-4B and 9B, DForkTree outperforms all baselines on every benchmark, by up to 41.5% over DFlash and 15.1% over DDTree, with average speedups of up to 4.75x over autoregressive decoding.
- Abstract(参考訳): 投機的復号化は、軽量なドラフトラを持つことによって言語モデルを高速化し、ターゲットモデルが並列に検証する将来のトークンを提案する。
DFlashのようなブロック拡散ドラフトラは1つの前方通過でブロック全体を予測し、DDTreeは配置ごとの分布から直接ドラフトツリーを構築する。
各分布は、ドラフト作成者の自身の欲求継続が受け入れられると暗黙的に仮定する一方、ドラフトツリーは、この欲求の道をたどるブランチのみのチェーン上で改善される。
一度パスがフォークされると、ドラフト作成者のトップ1の精度は89%から18%に低下し、上位候補はしばしば真のトークンを見逃す。
フォークトークンからドラフトアを再実行することで、エラーはモデルキャパシティの制限ではなく、時代遅れのプレフィックスの条件付けに起因していることを示す。
本稿では,DForkTreeについて紹介する。DForkTreeは,各ブランチを独自のトークンで再アンカーする,トレーニング不要の手法である。
ターゲット生成したn-gramからのポイントワイドな相互情報でドラフトのスコアを調整し、フォーク後の重み付けを行い、層ワイドGPUサーチによりこれらのスコアの下で正確な最適ツリーを復元する。
Qwen3.5-4Bと9Bでは、DForkTreeはDFlashで41.5%、DDTreeで15.1%、オートレグレッシブデコーディングで4.75倍のスピードアップを達成している。
関連論文リスト
- D3Tree: Learning to Prune Block-Diffusion Draft Trees for Efficient Verification [15.498234694487339]
D3Treeは、ブロック拡散ドラフトツリーのどのノードが検証に値するかを学ぶ。
72の負荷設定のうち70で最速で、3.2-4.0倍のスピードアップを1回の要求で自動回帰復号する。
到着フェーズ毎に、平均的なエンドツーエンドのレイテンシが低くなります。
論文 参考訳(メタデータ) (2026-11-08T13:29:14Z) - UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding [42.52014320099826]
UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。
UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
論文 参考訳(メタデータ) (2026-09-30T15:35:50Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳(メタデータ) (2026-08-13T17:43:44Z) - TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。
TreeSparkは1ラウンドあたり15~25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8~14%高速にデコードする。
論文 参考訳(メタデータ) (2026-08-12T05:30:46Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳(メタデータ) (2026-06-20T14:32:14Z) - Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。
DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。
Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。
DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
論文 参考訳(メタデータ) (2026-04-14T17:23:14Z) - TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees [73.0940890296463]
確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。
TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。
TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。
TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
論文 参考訳(メタデータ) (2026-02-12T06:17:12Z) - Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。
ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
論文 参考訳(メタデータ) (2025-12-26T04:45:49Z) - Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。
トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。
既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
論文 参考訳(メタデータ) (2020-10-27T19:19:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。