論文の概要: Cost-Aware Diffusion Draft Trees for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2606.01813v1
• Date: Mon, 01 Jun 2026 07:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.493568
• Title: Cost-Aware Diffusion Draft Trees for Speculative Decoding
• Title（参考訳）: 投機的復号化のためのコスト対応拡散ドラフトツリー
• Authors: Shuai Zhang, Huachuan Qiu, Hongliang He, Yong Dai,
• Abstract要約: textbfCaDDTree (Cost-aware Diffusion Draft Tree) は,木構造とノード予算を協調的に選択することで,トークンスループット(単位時間当たりの予測トークン)を直接最適化する手法である。 Qwen3-4BとQwen3-8Bの実験では、推論、コーディング、命令追従タスクにまたがる8つのベンチマークで、caDDTreeがDDTreeとほぼ全てのタスクでオラクルの予算選択と一致または上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 17.900184934329666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates inference by having a lightweight drafter propose tokens verified in parallel by the target language model. Block diffusion drafters such as DFlash generate an entire draft block in one pass, yielding per-position marginals; DDTree uses these to build a candidate tree that maximizes expected acceptance length under a fixed node budget. We observe, however, that acceptance length is non-decreasing in budget: it always favors larger trees regardless of verification cost, offering no principled basis for budget selection. We introduce \textbf{CaDDTree} (Cost-aware Diffusion Draft Tree), a method that directly optimizes token throughput (expected tokens generated per unit time) by jointly selecting the tree structure and node budget. We model draft and verification latencies explicitly, show that the throughput objective decomposes into a per-round one-dimensional search over the budget, and prove that under a convex verification cost the throughput function is \emph{unimodal}, enabling an efficient greedy stopping rule. CaDDTree requires no offline budget search, adapting the budget each round from the current per-position distributions and verification cost. Experiments on Qwen3-4B and Qwen3-8B across eight benchmarks spanning reasoning, coding, and instruction-following tasks show that \caDDTree{} matches or surpasses DDTree with oracle budget selection on nearly all tasks.
• Abstract（参考訳）: 投機的復号化は、軽量な起草者がターゲット言語モデルによって並列に検証されたトークンを提案することによって推論を加速する。 DDTreeは、固定ノード予算の下で期待される受け入れ長を最大化する候補ツリーを構築するのにこれらを使用する。 しかしながら、我々は、受理期間は予算の非減少であり、検証コストに関係なく、常に大きな木を好んでおり、予算選択の原則的な基礎を提供していないことを観察する。 本稿では,木構造とノード予算を協調的に選択することで,トークンのスループット(単位時間当たりの予測トークン)を直接最適化する手法である「textbf{CaDDTree} (Cost-aware Diffusion Draft Tree)」を紹介する。 提案手法は, 提案手法のドラフトと検証遅延を明示的にモデル化し, スループット目標が1次元の全体探索に分解されることを示し, 凸検証コストの下でスループット関数が \emph{unimodal} であることが証明され, 効率的なグリーディ停止規則が実現された。 CaDDTreeはオフラインの予算検索を必要とせず、各ラウンドの予算を現在の配置ごとの分布と検証コストから順応する。 Qwen3-4BとQwen3-8Bは、推論、コーディング、命令追従タスクにまたがる8つのベンチマークで実験した結果、ほぼ全てのタスクにおいて、 \caDDTree{} が DDTree とオラクルの予算選択と一致するか、または超えていることが示された。

関連論文リスト

• Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
  投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。 DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。 Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。 DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
  論文  参考訳（メタデータ） (2026-04-14T17:23:14Z)
• Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs [16.21023293204606]
  既存の木探索政策は予算に依存せず、予算を終了条件として扱い、最終段階のオーバーブランチや早期終了につながる可能性がある。 本稿では,Budget-Guided MCTS (BG-MCTS)を提案する。 BG-MCTS は、MATH500 と AIME24/25 の様々な予算において、オープンウェイト LLM で予算に依存しない木探索ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-10T09:23:26Z)
• TALON: Confidence-Aware Speculative Decoding with Adaptive Token Trees [18.53532655905144]
  投機的復号化(SD)は、出力品質を犠牲にすることなくLPM推論を高速化する標準技術となっている。 我々は、既存のツリーベースの手法にプラグイン可能な、トレーニングフリーで予算駆動の適応木拡張フレームワークであるTALONを紹介した。 TALONは最先端のイーグル3より一貫して優れており、自動回帰復号よりも最大5.16倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-01-12T09:26:45Z)
• Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
  本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。 ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
  論文  参考訳（メタデータ） (2025-12-26T04:45:49Z)
• A*-Thought: Efficient Reasoning via Bidirectional Compression for Low-Resource Settings [60.48717743667377]
  A*-Thoughtは、最も本質的な思考を識別し、分離するために設計された効率的なツリー検索ベースの統合フレームワークである。 LRMの推論過程を探索木として定式化し、各ノードは巨大な推論空間における推論スパンを表す。 低予算でQwQ-32Bを2.39$times$で改善し、高予算で出力トークンの長さを50%近く削減できる。
  論文  参考訳（メタデータ） (2025-05-30T12:58:34Z)
• Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
  検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
  論文  参考訳（メタデータ） (2025-02-16T16:12:01Z)
• OPT-Tree: Speculative Decoding with Adaptive Draft Tree Structure [40.9990864658776]
  投機的復号には、複数のトークンを1ステップで生成できるようにする"ドラフトと検証"機構が使用されている。 既存の手法は主に固定されたドラフト構造を採用しており、異なる状況に適応できない。 我々は適応的でスケーラブルなドラフトツリーを構築するアルゴリズムであるOPT-Treeを提案する。
  論文  参考訳（メタデータ） (2024-06-25T04:45:53Z)
• On $\ell_p$-norm Robustness of Ensemble Stumps and Trees [83.81523991945018]
  我々は,アンサンブルスタンプの音響検証のための効率的なプログラムベースアルゴリズムを開発した。 我々は,アンサンブル・スタンプや木を訓練するための最初の認証された防御法を,$ell_p$ノルム摂動に関して実証した。
  論文  参考訳（メタデータ） (2020-08-20T03:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。