論文の概要: UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.39972v1
• Date: Wed, 30 Sep 2026 15:35:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.98104
• Title: UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding
• Title（参考訳）: UBTree: 投機的デコードのためのユニグラムとビグラムモデルによる並列ツリー描画
• Abstract要約: UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。 UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
• 参考スコア（独自算出の注目度）: 42.52014320099826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates language model inference by verifying multiple draft tokens in a single target-model pass. Recent parallel drafters have achieved breakthrough performance in frontier production models, but their effectiveness deteriorates as the entropy of target distributions increases due to insufficient draft diversity. To overcome this bottleneck without sacrificing parallelism, we introduce UBTree, a parallel drafter that couples a Unigram proposer with a Bigram selector to construct drafting Trees. The unigram proposer is trained with the standard cross-entropy objective to generate candidate tokens independently for each position, while a lightweight bigram selector predicts transition scores between adjacent candidate pairs. Unlike the proposer, the selector is trained with a renormalized KL objective on high-temperature data. This tree-native training broadens the supervision beyond the greedy path, encouraging plausible alternative branches that improve the chance of accepting additional tokens during tree verification. Across seven standardized benchmarks with Qwen3-4B and Qwen3-8B, UBTree achieves an average speedup of $5.84$--$6.94\times$ over autoregressive decoding and outperforms DARTree in all 28 comparisons. Production-scale evaluation further demonstrates UBTree's advantage over frontier baselines such as DSpark.
• Abstract（参考訳）: 投機的復号化は、単一のターゲットモデルパスで複数のドラフトトークンを検証することによって、言語モデル推論を加速させる。 最近のパラレルドラフトは、フロンティア生産モデルにおいて画期的な性能を達成しているが、その効果は、ドラフトの多様性が不十分なため、目標分布のエントロピーが増加するにつれて悪化する。 並列性を犠牲にすることなく、このボトルネックを克服するために、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタであるUTTreeを導入する。 ユニグラム提案者は、標準のクロスエントロピー目標を用いて訓練され、各位置ごとに独立して候補トークンを生成し、一方、軽量なビッグラムセレクタは隣接する候補ペア間の遷移スコアを予測する。 提案者とは異なり、セレクタは高温データに基づいて再正規化されたKLオブジェクトで訓練される。 このツリーネイティブトレーニングは、greedyパスを越えて監督を広げ、ツリー検証中に追加トークンを受け入れる可能性を改善する、もっともらしい代替ブランチを奨励する。 Qwen3-4B と Qwen3-8B による7つの標準ベンチマークで、UTTree の平均速度は 5.84$--$6.94\times$ over autoregressive decoding と DARTree より優れている。 生産規模評価はさらに、DSparkのようなフロンティアベースラインに対するUTTreeの優位性を示している。

関連論文リスト

• DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
  投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。 Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
  論文  参考訳（メタデータ） (2026-08-13T17:43:44Z)
• TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
  TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。 TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
  論文  参考訳（メタデータ） (2026-08-12T05:30:46Z)
• GRAFT: Adaptive DLM-Based Draft Tree Construction with Target-Distilled Edge Scoring [14.757882467079853]
  ツリーベースの投機的復号化は、複数のドラフトパスを検証することによって、標準投機的復号化の平均的なトークンを上昇させる。 DDTreeはこのギャップを、各将来の配置分布からの高確率トークンを候補ノードとして扱うことで埋める。 我々は,DLMに基づく投機的復号化のためのドラフトツリー構築フレームワークであるGRAFTを提案する。
  論文  参考訳（メタデータ） (2026-06-24T03:06:30Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• Cost-Aware Diffusion Draft Trees for Speculative Decoding [17.900184934329666]
  textbfCaDDTree (Cost-aware Diffusion Draft Tree) は,木構造とノード予算を協調的に選択することで,トークンスループット(単位時間当たりの予測トークン)を直接最適化する手法である。 Qwen3-4BとQwen3-8Bの実験では、推論、コーディング、命令追従タスクにまたがる8つのベンチマークで、caDDTreeがDDTreeとほぼ全てのタスクでオラクルの予算選択と一致または上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-06-01T07:29:56Z)
• Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration [52.52685988964061]
  Entropy-Treeは、分岐決定の信号としてエントロピーを利用するツリーベースのデコード手法である。 単一の復号処理において、効率的な構造化された探索と信頼性の高い不確実性推定を統一する。
  論文  参考訳（メタデータ） (2026-01-02T07:14:05Z)
• Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
  本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。 ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
  論文  参考訳（メタデータ） (2025-12-26T04:45:49Z)
• OPT-Tree: Speculative Decoding with Adaptive Draft Tree Structure [40.9990864658776]
  投機的復号には、複数のトークンを1ステップで生成できるようにする"ドラフトと検証"機構が使用されている。 既存の手法は主に固定されたドラフト構造を採用しており、異なる状況に適応できない。 我々は適応的でスケーラブルなドラフトツリーを構築するアルゴリズムであるOPT-Treeを提案する。
  論文  参考訳（メタデータ） (2024-06-25T04:45:53Z)
• Lookback for Learning to Branch [77.32867454769936]
  Bipartite Graph Neural Networks (GNN) は、ディープラーニングに基づくMixed-Integer Linear Program (MILP) の重要コンポーネントであることが示されている。 近年の研究では、分岐とバウンド(B&B)の解法における分岐(可変選択)を置き換える上で、そのようなGNNの有効性が実証されている。
  論文  参考訳（メタデータ） (2022-06-30T02:33:32Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。