論文の概要: DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2607.08642v2
• Date: Fri, 10 Jul 2026 04:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.715332
• Title: DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
• Title（参考訳）: DominoTree: 投機的デコーディングのためのDominoを用いた条件付きツリー構造化描画
• Authors: Saw S. Lin, Jyh-Shing Roger Jang,
• Abstract要約: そこでDominoTreeは,各ルート-ノードパスに沿ってドミノの条件付き非リファクタリング補正によって得られる,トレーニングフリーのベストファーストドラフトツリーである。 DominoTreeは、greedyデコーディングよりも最大6.6倍のスピードアップに達し、評価されたメソッドの平均許容長は最高である。
• 参考スコア（独自算出の注目度）: 6.82231493613379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates LLM inference by drafting several tokens and verifying them in parallel. Block-diffusion drafters such as DFlash produce a draft block in one pass but model only per-position marginals, and best-first tree methods such as DDTree expand candidate trees from those marginals. The released Domino drafter adds a GRU-based causal correction that makes each draft token distribution path-dependent, a structure DDTree's factorized formulation cannot represent. We introduce DominoTree, a training-free best-first draft tree scored by Domino's conditional, non-factorized correction along each root-to-node path, made practical by restricting the per-node correction to a candidate top-M set. On Qwen3-4B across eight benchmarks, DominoTree reaches up to 6.6x speedup over autoregressive decoding and the highest mean accepted length of any evaluated method, up to 10.7 tokens per round, at every tested temperature. DominoTree constructs its tree with a GPU-native CUDA-graph builder that is bit-identical to a reference Python implementation, so acceptance is unchanged, while keeping per-round tree construction cheap. With this builder as default, DominoTree improves throughput over the released Domino decoder, the drafter it builds on, at every tested temperature: 9% to 10% overall on Qwen3-4B and up to 22% on Alpaca. It also outperforms DDTree and CaDDTree at every tested temperature, not only under greedy decoding. On Qwen3-8B, DominoTree keeps the highest accepted length at every temperature and gives a 24% throughput gain over DDTree at T=0; at higher temperature its edge over DDTree and CaDDTree narrows to a tie and a small loss, while its aggregate gains over DFlash and Domino persist.
• Abstract（参考訳）: 投機的復号化は、いくつかのトークンを起草し、それらを並列に検証することでLCM推論を加速させる。 DFlashのようなブロック拡散型ドラフトラは1パスでドラフトブロックを生成するが、配置ごとの辺縁のみをモデルとし、DDTreeのような最優先のツリーメソッドはそれらの辺縁から候補木を拡張する。 リリースされたDominoドラフトには、GRUベースの因果修正が追加されており、各ドラフトトークンの配布パスに依存しているため、構造DDTreeの分解式は表現できない。 そこで本研究では,ドミノの条件付き,各ルートからノードへの経路に沿った非分解補正によって得られた訓練不要の最良のドラフトツリーであるDominoTreeを紹介し,ノードごとの補正を候補トップM集合に限定して実践的に行う。 8つのベンチマークのQwen3-4Bでは、DominoTreeは自動回帰デコードよりも最大6.6倍のスピードアップを達成し、各テスト温度で1ラウンドあたり10.7トークンまで、評価されたメソッドの平均許容距離は最高である。 DominoTreeはそのツリーをGPUネイティブのCUDAグラフビルダーで構築する。 このビルダーをデフォルトとして、DominoTreeはリリースされているDominoデコーダよりもスループットを改善し、テスト温度毎に、Qwen3-4Bで9%から10%、Alpacaで最大22%のドラフトをビルドする。 また、DDTreeとCaDDTreeをテスト温度ごとに上回る。 Qwen3-8Bでは、ドミノトレーは全ての温度で最も受け入れられた長さを保持し、T=0でDDTreeよりも24%のスループット向上を与える。

関連論文リスト

• Cost-Aware Diffusion Draft Trees for Speculative Decoding [17.900184934329666]
  textbfCaDDTree (Cost-aware Diffusion Draft Tree) は,木構造とノード予算を協調的に選択することで,トークンスループット(単位時間当たりの予測トークン)を直接最適化する手法である。 Qwen3-4BとQwen3-8Bの実験では、推論、コーディング、命令追従タスクにまたがる8つのベンチマークで、caDDTreeがDDTreeとほぼ全てのタスクでオラクルの予算選択と一致または上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-06-01T07:29:56Z)
• TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees [73.0940890296463]
  確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。 TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。 TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。 TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
  論文  参考訳（メタデータ） (2026-02-12T06:17:12Z)
• Designing ReLU Generative Networks to Enumerate Trees with a Given Tree Edit Distance [3.746431245783676]
  我々は,木編集距離に関して,所定の木に類似した木を生産できる生成ネットワークの存在と構築を確立する。 ネットワークは、指定されたツリー編集距離内で有効な木を全て生成した。 これらの知見は、コンパクトな生成モデルの構築と、正確かつ有効な木構造データ生成のための新しい方向を開くための理論的基盤を提供する。
  論文  参考訳（メタデータ） (2025-10-12T17:07:49Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
  本稿では,決定木誘導に対するベイズ的アプローチを提案する。 そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-26T23:43:37Z)
• Structure-Unified M-Tree Coding Solver for MathWord Problem [57.825176412485504]
  従来,数式表現の2次木構造を考慮に入れたモデルでは,性能が向上した。 本稿では、出力構造を統一するために、任意のM枝(M-tree)を持つ木を適用した構造統一M-Tree符号化(S-UMCr)を提案する。 広く使われているMAWPSとMath23Kデータセットの実験結果は、SUMC-rが複数の最先端モデルを上回るだけでなく、低リソース条件下でもはるかに優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-10-22T12:20:36Z)
• SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
  我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。 Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
  論文  参考訳（メタデータ） (2022-09-28T09:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。