論文の概要: Understanding Target Probability Reuse in Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.29210v1
• Date: Wed, 21 Oct 2026 05:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.210688
• Title: Understanding Target Probability Reuse in Speculative Decoding
• Title（参考訳）: 投機的復号における目標確率再利用の理解
• Abstract要約: 投機的復号化は、ターゲットモデルを使用して、ドラフトトークンのツリーを並列に検証する。 保証された正確な再利用には、次のラウンドの完全なコンテキストで計算された分布が必要であることを示す。 この結果から,樹冠配置前に目標確率を利用できるようにすることで,投機的復号化の効率が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 18.413843953819715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding uses a target model to verify a tree of draft tokens in parallel. We study whether the resulting next-token distributions can help select the next tree. For unrestricted target models, we show that guaranteed exact reuse requires a distribution computed at the next round's complete context. We characterize when retaining this distribution requires sacrificing accepted tokens and establish conditions under which this loss persists across decoding rounds. Across six targets, we find that reranking first-token branches with a separately computed distribution at the current context improves expected acceptance over draft ranking, especially with small tree budgets. Drawing the first token from this distribution before allocating the tree further improves expected acceptance over pruning a preselected tree, even at equal mean tree size. In our experiments, both selection rules also decode faster than draft ranking when the separate target pass overlaps standalone drafting. Our findings show that making target probabilities available before tree allocation can improve the efficiency of speculative decoding. Our code is available at https://github.com/js-lee-AI/TargetRows.
• Abstract（参考訳）: 投機的復号化は、ターゲットモデルを使用して、ドラフトトークンのツリーを並列に検証する。 結果の次点分布が次の木を選択するのに役立つかどうかを考察する。 制約のない対象モデルに対して、正確な再利用を保証するためには、次のラウンドの完全なコンテキストで計算された分布が必要であることを示す。 この分布を保持する場合、受理トークンを犠牲にし、この損失が復号ラウンドにわたって持続する条件を確立する必要がある。 6つの目標にまたがって、現在の状況で個別に計算された分布を持つファースト・ツーケン・ブランチの再ランク付けが、特に小さな木予算で、ドラフト・ランキングよりも期待される受け入れを改善することが判明した。 木を割り当てる前に、この分布から最初のトークンを描画すると、同じ平均木のサイズであっても、選択された木を刈り取るよりも、予想される受容性がさらに向上する。 実験では、両方の選択ルールは、個別の目標パスがスタンドアロンのドラフトと重なる場合に、ドラフトランキングよりも高速にデコードする。 この結果から,樹冠配置前に目標確率を利用できるようにすることで,投機的復号化の効率が向上することが示唆された。 私たちのコードはhttps://github.com/js-lee-AI/TargetRows.comで利用可能です。

関連論文リスト

• Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding [24.85822818582972]
  ツリーベースの投機的復号化は、1つのターゲットモデルパスで複数のドラフト継続を検証する。 ドラフトスコアから構築された有限木は、基本的なドラフトターゲットミスマッチに直面します。 より正確な検証により、固定木への受け入れが向上し、ターゲットフィードバックがツリー自体を改善することができるかどうかを問う。
  論文  参考訳（メタデータ） (2026-10-08T11:40:13Z)
• UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding [42.52014320099826]
  UBTreeは、UnigramプロジェクタとBigramセレクタを結合して起草木を構築する並列プロジェクタである。 UBTreeの平均速度は5.84$-6.94times$で、28の比較でDARTreeを上回っている。
  論文  参考訳（メタデータ） (2026-09-30T15:35:50Z)
• TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding [3.210063008779709]
  TreeSparkは、ドラフトアの既存のMarkovヘッドから、無視可能なコストで、親条件のディストリビューションを読み取る。 TreeSparkは1ラウンドあたり15～25%のドラフトトークンを受け入れ、単一要求のウォールクロックで8～14%高速にデコードする。
  論文  参考訳（メタデータ） (2026-08-12T05:30:46Z)
• GRAFT: Adaptive DLM-Based Draft Tree Construction with Target-Distilled Edge Scoring [14.757882467079853]
  ツリーベースの投機的復号化は、複数のドラフトパスを検証することによって、標準投機的復号化の平均的なトークンを上昇させる。 DDTreeはこのギャップを、各将来の配置分布からの高確率トークンを候補ノードとして扱うことで埋める。 我々は,DLMに基づく投機的復号化のためのドラフトツリー構築フレームワークであるGRAFTを提案する。
  論文  参考訳（メタデータ） (2026-06-24T03:06:30Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding [32.75269650141292]
  投機的復号化のためのワンショットブロックのドラフトは、1つのフォワードパスで完全なドラフトを生成する。 それぞれのドラフトトークンはプレフィックスコンテキストのみに条件付けされ、以前のドラフトトークンに依存しない。 この非自己回帰条件は、ドラフトの深さが大きくなるにつれて、検証者の真の自己回帰分布からドラフトの分布が分岐する。 そこで我々は,この問題に対処するために,プロダクタの隠蔽状態とそれ以前のトークンに条件付きレイヤを組み込んで,自己回帰分布を近似するTreeFlashを提案する。
  論文  参考訳（メタデータ） (2026-06-02T16:00:18Z)
• TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees [73.0940890296463]
  確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。 TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。 TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。 TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
  論文  参考訳（メタデータ） (2026-02-12T06:17:12Z)
• Tree Cross Attention [59.8891512435847]
  Tree Cross Attention (TCA) は、Cross Attentionに基づくモジュールで、パラメータ $mathcalO(log(N))$ のトークン数からのみ情報を取得する。 さまざまな分類や不確実性回帰タスクに対して,TCAはクロスアテンションに匹敵する性能を示し,トークン効率は著しく向上した。
  論文  参考訳（メタデータ） (2023-09-29T16:50:23Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。