論文の概要: Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

• arxiv url: http://arxiv.org/abs/2607.10661v1
• Date: Sun, 12 Jul 2026 09:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.500461
• Title: Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting
• Title（参考訳）: プログレッシブツリー描画による投機的デコードによる自己回帰言語モデルにおける並列化の解法
• Abstract要約: 我々は、構造化された並列ドラフト戦略を用いて、モデルの並列ポテンシャルを利用する textbfProgressive Tree Drafting (PTD) を提案する。 実験によると、PTDはトレーニング不要でモデルに依存しないまま、様々なベンチマークで最大2倍のデコードスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 46.66100714934569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding has significantly accelerated Large Language Model (LLM) inference by alleviating memory-bound bottlenecks. However, traditional speculative decoding typically relies on auxiliary draft modules, incurring significant training and communication overhead. Although recent methods attempt to generate drafts within the target model itself, they often fail to fully exploit its latent parallel capacity due to a lack of structural coordination. In this paper, we propose \textbf{Progressive Tree Drafting (PTD)}, which employs a structured, guided parallel drafting strategy to harness the model's parallel potential. By coupling a progressive tree structure with a stepwise pruning mechanism, PTD actively guides the LLM to explore multiple semantic paths in a single forward pass, ensuring both draft diversity and coherence. Experiments demonstrate that PTD achieves up to $2\times$ decoding speedup across various benchmarks while remaining training-free and model-agnostic. Our code is available at: https://github.com/MINE-USTC/PTD.
• Abstract（参考訳）: 投機的復号化は、メモリバウンドボトルネックを軽減することにより、Large Language Model (LLM)推論を著しく加速した。 しかし、従来の投機的復号法は一般的に補助的なドラフトモジュールに依存しており、かなりの訓練と通信のオーバーヘッドが生じる。 近年の手法では、ターゲットモデル自体内でドラフトを生成しようとするが、構造的調整の欠如により、遅延並列能力を完全に活用することができないことが多い。 本稿では, モデルが持つ並列ポテンシャルを活用するために, 構造的, ガイド的並列起草戦略を用いた PTD (textbf{Progressive Tree Drafting) を提案する。 ステップワイズプルーニング機構とプログレッシブツリー構造を結合することにより、PTDはLLMを積極的に誘導し、1つの前方パスで複数の意味経路を探索し、ドラフトの多様性と一貫性を確実にする。 実験の結果、PTDはトレーニング不要でモデルに依存しないまま、さまざまなベンチマークで最大2\times$デコードスピードアップを達成した。 私たちのコードは、https://github.com/MINE-USTC/PTD.comで利用可能です。

関連論文リスト

• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs [12.056664630923896]
  投機的復号化は推論効率を大幅に向上させる。 ドラフトとターゲットモデルは、同じ語彙を共有しなければならない。 普遍的な投機的復号化のためのアルゴリズムTokenTimingを提案する。
  論文  参考訳（メタデータ） (2025-10-17T11:25:36Z)
• Self Speculative Decoding for Diffusion Large Language Models [21.955478721386953]
  拡散に基づく大規模言語モデル (dLLMs) は自己回帰モデルに代わる競合モデルとして登場した。 textbfSelf textbfSpeculative textbfDecoding (SSD) を提案する。 SSDは最大3.46$times$ Speedupを実現し、出力はLLaDAやDreamのようなオープンソースのモデルで段階的に復号化される。
  論文  参考訳（メタデータ） (2025-10-05T10:52:28Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism [20.3565068078231]
  仮説復号における分岐並列性を解き放つための新しいフレームワーク textbfSpecBranch を提案する。 SpecBranchがtextbf1.8$times sim$ textbf4.5$times$ speedups against the auto-regressive decoding and reduces rollback tokens by $textbf50$% for aligned model。
  論文  参考訳（メタデータ） (2025-05-16T07:45:05Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
  投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。 我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。 ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2024-02-21T11:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。