論文の概要: CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
- arxiv url: http://arxiv.org/abs/2610.00321v1
- Date: Tue, 29 Sep 2026 04:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.610175
- Title: CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
- Title（参考訳）: CAST:シングルパスブロックの投機木はコストに配慮
- Abstract要約: 投機的復号化は、将来のトークンを安価にドラフトすることで、大きな言語モデル推論を加速させる。
CAST(Cost-Aware Speculative Trees)を導入し、これらの候補を木にまとめ、単一のターゲットパスで検証する。
予測幅では、CASTは8つの設定すべてで標準チェーンよりも43%高速である。
- 参考スコア（独自算出の注目度）: 7.59352120325978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates large language model inference by drafting future tokens cheaply and verifying them with the target model in parallel. Block drafters score a whole block of future tokens in one forward pass, yet standard decoding verifies only the top-scoring chain and discards the other candidates. Because these candidates are already scored, verifying more of them adds target computation but no extra drafting. We introduce CAST (Cost-Aware Speculative Trees), which packs these candidates into a tree and verifies it in a single target pass, leaving the target model, drafter weights, and decoding rule untouched. To decide how wide the tree should be, CAST adds candidates while the expected gain from the next one outweighs the verification time it adds. The width therefore adapts to each deployment from a latency measurement, without sweeping over widths. We evaluate CAST across five domains on three GPU generations and two model families. At its predicted width, CAST is faster than the standard chain in all eight settings, by up to 43%. We also find that the best width depends strongly on the deployment. Where verification cost jumps at a kernel boundary, a 128-token tree is only 2% faster than the standard chain, whereas the tree at the predicted width is 20% faster. Furthermore, we prove that CAST leaves the target output distribution unchanged under both greedy and sampled decoding. Code is available at https://github.com/js-lee-AI/CAST.
- Abstract（参考訳）: 投機的復号化は、将来のトークンを安価にドラフトし、ターゲットモデルと並列に検証することで、大きな言語モデル推論を加速させる。
ブロック起草者は1つのフォワードパスで将来のトークンのブロック全体をスコアするが、標準的な復号化はトップスコーリングチェーンのみを検証し、他の候補を破棄する。
これらの候補はすでに評価されているため、もっと多くの候補を検証することは目標計算を追加するが、追加のドラフトは行わない。
我々はCAST(Cost-Aware Speculative Trees)を導入し、これらの候補を木にまとめ、単一のターゲットパスで検証する。
ツリーの幅を決定するために、CASTは候補を追加し、次の候補から期待される利益は、追加する検証時間を上回る。
従って、幅は、幅を網羅することなく、レイテンシの測定から各デプロイメントに適応する。
3つのGPU世代と2つのモデルファミリーで5つのドメインにわたるCASTを評価する。
予測幅では、CASTは8つの設定すべてで標準チェーンよりも43%高速である。
また、最良の幅はデプロイメントに強く依存していることも分かりました。
検証コストがカーネルバウンダリに跳ね上がる場合、128トンのツリーは標準チェーンよりもわずか2%速く、予測された幅のツリーは20%速くなります。
さらに, CAST が目標出力分布をgreedy と sampled decoding の両方で変化しないことを示す。
コードはhttps://github.com/js-lee-AI/CASTで公開されている。
関連論文リスト
- Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。
既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。
Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
論文 参考訳（メタデータ） (2026-09-28T14:10:01Z) - DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees [40.61855455828842]
投機的復号化は、複数のドラフトトークンを並列に検証することで、自動回帰言語モデルを高速化する。
Dartreeはトレーニング不要の投機的復号法で、事前訓練されたAR補正ヘッドをチェーンからツリーに拡張する。
論文 参考訳（メタデータ） (2026-08-13T17:43:44Z) - TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。
TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
論文 参考訳（メタデータ） (2026-08-12T05:30:46Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding [13.709230136542594]
投機的復号化は、複数の候補トークンを起草し、1つのフォワードパスで検証することで、大きな言語モデル推論を加速させる。
既存のトレーニングフリーなメソッドは、単一のトークンソースからドラフトされ、起源の候補品質を区別することなく、ツリーを形作っている。
我々は、入力コンテキストからコピーされたn-gramマッチングと、先行パスからの統計的予測の2つの一般的なトレーニングフリートークンソースが、受入率において劇的に異なることを観察した。
ステップ毎に受理されるトークンの数は、どちらのソースも単独で使用するものと同じくらいであることを示す。
論文 参考訳（メタデータ） (2026-04-02T13:48:42Z) - Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。
HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2025-10-22T15:56:19Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Traversal Verification for Speculative Tree Decoding [15.720388162422978]
投機的復号化は、大きな言語モデルを加速するための有望なアプローチである。
本稿では,新しい投機的復号化アルゴリズムであるトラバーサル検証を紹介する。
提案手法は,既存手法よりも受け入れ長とスループットを継続的に向上することを示す。
論文 参考訳（メタデータ） (2025-05-18T12:51:55Z) - C2T: A Classifier-Based Tree Construction Method in Speculative Decoding [9.663330370149428]
投機的復号法は、しばしばトークンツリーの構築や候補トークンの検証において非効率に直面する。
トークンツリーを動的に生成・生成するための軽量な分類器C2Tを提案する。
論文 参考訳（メタデータ） (2025-02-19T11:57:02Z) - Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling [24.04649159686283]
投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。
トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。
既存の列車なしの手法を30%上回り、広く認められた訓練方法さえも25%上回っている。
論文 参考訳（メタデータ） (2024-08-16T12:20:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。