論文の概要: TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding
- arxiv url: http://arxiv.org/abs/2609.22098v1
- Date: Wed, 12 Aug 2026 05:30:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.695739
- Title: TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding
- Title（参考訳）: TreeSpark: 半自動投機的デコードのためのキャリブレーションされた負荷適応型ドラフトツリー
- Abstract要約: TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。
TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
- 参考スコア（独自算出の注目度）: 3.210063008779709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding accelerates language-model inference by letting a cheap drafter propose tokens that the target model verifies in parallel. Recent block drafters make drafting nearly free: a single backbone pass emits an entire block of draft tokens. Draft trees promise a further gain -- several alternative continuations verified in one target forward -- but existing constructions rank candidates by per-position marginals that ignore which parent a candidate extends, so on semi-autoregressive drafters wider trees mostly add mis-ranked nodes; and a tree of fixed size ignores how much speculation each decoding round, and each serving load, can support. We introduce TreeSpark, which reads a parent-conditioned distribution from the drafter's existing Markov head at negligible cost, calibrates it into an edge-acceptance estimate, and lets path survival govern everything else: best-first expansion, per-round stopping, and a load-adaptive serving policy. Sampling siblings without replacement, with matching residuals in recursive rejection, keeps decoding lossless at any temperature. Adaptive trees improve on matched fixed budgets at every temperature; against a tuned chain on the same drafter, TreeSpark accepts 15-25% more draft tokens per round and decodes 8-14% faster in single-request wall-clock, and under rising load it gracefully shrinks the tree back to the chain. Code and artifacts: https://github.com/PopSoda2002/TreeSpark
- Abstract（参考訳）: 投機的復号化は、安価なドラフト作成者がターゲットモデルが並列に検証するトークンを提案することによって、言語モデル推論を加速させる。
単一のバックボーンパスは、ドラフトトークンのブロック全体を出力する。
ドラフトツリーは更なる増加を約束する -- あるターゲットで検証されたいくつかの代替的な継続 -- しかし、既存の構造では、候補がどの親が拡張するかを無視する、配置ごとの限界による候補をランク付けしている。
原案の既存のMarkovヘッドから,親条件付きディストリビューションを無視可能なコストで読み込み,エッジアクセプタンス見積に校正し,パスサバイバルが他のすべてを管理できるようにするTreeSparkを紹介します。
置換のない兄弟姉妹をサンプリングし、再帰的拒絶反応の残基を一致させて、任意の温度で復号する。
適応的なツリーは、すべての温度で一致した固定された予算を改善する。同じドラフトラッパ上のチューニングされたチェーンに対して、TreeSparkは、ラウンド当たり15～25%以上のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードし、負荷が上がると、ツリーをチェーンに適切に縮小する。
コードとアーティファクト:https://github.com/PopSoda2002/TreeSpark
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding [14.328430707715114]
投機的復号化LLMは、提案された継続がターゲットモデル検証を継続した場合のみ、推論を加速する。
親条件分岐は、半自己回帰型ドラフトラにおいて既に存在する条件付きキャパシティをエンドツーエンドの推論ゲインに変換することができることを示す。
論文 参考訳（メタデータ） (2026-08-03T12:15:26Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding [32.75269650141292]
投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。
それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。
この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。
そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
論文 参考訳（メタデータ） (2026-06-02T16:00:18Z) - SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。
デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
論文 参考訳（メタデータ） (2026-05-08T04:59:48Z) - Fast Inference of Visual Autoregressive Model with Adjacency-Adaptive Dynamical Draft Trees [50.230925890958936]
本稿では,隣接するトークン状態と先行受入率を活用することで,ドラフトツリーの深さと幅を調整できる適応型動的ドラフトツリーを提案する。
ADT-Treeは、それぞれ3.13xと3.05xのスピードアップを実現し、LANTERNのような緩やかなサンプリング手法とシームレスに統合する。
論文 参考訳（メタデータ） (2025-12-26T04:45:49Z) - OPT-Tree: Speculative Decoding with Adaptive Draft Tree Structure [40.9990864658776]
投機的復号には、複数のトークンを1ステップで生成できるようにする"ドラフトと検証"機構が使用されている。
既存の手法は主に固定されたドラフト構造を採用しており、異なる状況に適応できない。
我々は適応的でスケーラブルなドラフトツリーを構築するアルゴリズムであるOPT-Treeを提案する。
論文 参考訳（メタデータ） (2024-06-25T04:45:53Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z) - An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃
提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。
私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
論文 参考訳（メタデータ） (2020-10-22T10:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。