論文の概要: TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding

• arxiv url: http://arxiv.org/abs/2606.03819v1
• Date: Tue, 02 Jun 2026 16:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.13819
• Title: TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding
• Title（参考訳）: TreeFlash: より高速な投機的デコーディングのための並列AR近似
• Authors: Peer Rheinboldt, Frédéric Berdoz, Roger Wattenhofer,
• Abstract要約: 投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。 それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。 この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。 そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
• 参考スコア（独自算出の注目度）: 32.75269650141292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-shot block drafters for speculative decoding generate the full draft in a single forward pass, achieving strong throughput by eliminating sequential token generation. However, they predict each draft token conditioned only on the prefix context, with no dependence on previously drafted tokens. This non-autoregressive conditioning causes the drafter's distribution to diverge from the verifier's true autoregressive distribution as draft depth grows. This problem becomes more severe in tree-based drafting, where distinct branches are forced to share the same marginal distribution for subsequent tokens. We propose TreeFlash, which addresses this by incorporating an MLP layer conditioned on the drafter's hidden state and the previous token to approximate an autoregressive distribution. TreeFlash retains the $\mathcal{O}(1)$ decoding time complexity of one-shot drafters by employing a two-stage approximation mechanism. TreeFlash achieves state-of-the-art performance across a variety of tasks and models, improving over marginal tree drafting by $12\%$ higher block efficiency and $9\%$ higher speedup.
• Abstract（参考訳）: 投機的復号化のためのワンショットブロックドラフトは、1つのフォワードパスで完全なドラフトを生成し、シーケンシャルトークン生成を排除して強力なスループットを達成する。 しかし、前述したトークンに依存することなく、プレフィックスコンテキストにのみ条件付きで各ドラフトトークンを予測する。 この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。 この問題は、木に基づく起草においてより深刻になり、個々の枝はその後のトークンに対して同じ限界分布を共有せざるを得なくなる。 そこで本研究では,プロダクタの隠れ状態に条件付きMPP層と,それ以前のトークンを組み込んで自己回帰分布を近似することにより,この問題に対処する。 TreeFlashは、2段階近似機構を用いることで、ワンショットドラフトの$\mathcal{O}(1)$デコード時間の複雑さを保っている。 TreeFlashは、さまざまなタスクやモデルにわたる最先端のパフォーマンスを実現し、ブロック効率が12\%、スピードアップが9\%の限界木ドラフトの改善を実現している。

関連論文リスト

• Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting [36.83545196908392]
  BASTIONは、ツリーベースの拡散ドラフトを備えた、予算対応の投機的デコーディングフレームワークである。 本フレームワークは,(1)経路信頼度によって予測される受理長を推定する受理サロゲート,(2)ハードウェアを意識した屋上モデルのキャリブレーションを行うオンライン遅延推定器,(3)積算検証コストを正当化しなくなるまで木を成長させる適応的最優先拡張の3つの相乗的要素を統合する。
  論文  参考訳（メタデータ） (2026-05-28T10:21:34Z)
• SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
  SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。 デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
  論文  参考訳（メタデータ） (2026-05-08T04:59:48Z)
• Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
  投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。 DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。 Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。 DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
  論文  参考訳（メタデータ） (2026-04-14T17:23:14Z)
• Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
  本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。 ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
  論文  参考訳（メタデータ） (2025-12-26T04:45:49Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• OPT-Tree: Speculative Decoding with Adaptive Draft Tree Structure [40.9990864658776]
  投機的復号には、複数のトークンを1ステップで生成できるようにする"ドラフトと検証"機構が使用されている。 既存の手法は主に固定されたドラフト構造を採用しており、異なる状況に適応できない。 我々は適応的でスケーラブルなドラフトツリーを構築するアルゴリズムであるOPT-Treeを提案する。
  論文  参考訳（メタデータ） (2024-06-25T04:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。