論文の概要: JetSpec++: Foresight Parallel Drafting with Self Refinements

• arxiv url: http://arxiv.org/abs/2610.19792v2
• Date: Thu, 15 Oct 2026 06:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.96251
• Title: JetSpec++: Foresight Parallel Drafting with Self Refinements
• Title（参考訳）: JetSpec++: セルフリファインメントによる並列描画の展望
• Abstract要約: 投機的復号化の有効性は、投機的復号化トークンの受理率と製造コストの2つの量に支配されている。 これら2つの目的をアルゴリズムとシステムの共同設計で最適化できることを示し,JetSpec++を提示する。 JetSpec++は、ほとんど完全にコストを隠しながら、強力な学習されたドラフトモデルを維持している。
• 参考スコア（独自算出の注目度）: 22.844546208450208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding's effectiveness is governed by two quantities: the acceptance rate of drafted tokens and the cost of producing them. We show the two objectives can be co-optimized with algorithm-system co-design, and present JetSpec++, which retains a strong learned draft model while hiding its cost almost entirely. JetSpec++ combines three components: intra-block self refinement, which trains the draft model to iteratively correct its own parallel predictions within a block of tokens; inter-block foresight drafting, which begins the next block before the current one is verified; and pipelined drafting and verification, which overlaps the two stages so drafting's marginal wall-clock cost approaches zero. In comparison with state-of-the-art speculative decoding methods, JetSpec++ attains a wall-clock speedup of up to $7.45\times$ over autoregressive (AR) decoding and $1.54\times$ over DSpark, with up to 1,361 tokens per second for a single request on GB200, and an average acceptance length of 8.94 across seven benchmarks, while preserving the target model's output distribution. Our code and models are available at https://github.com/hao-ai-lab/JetSpec.
• Abstract（参考訳）: 投機的復号化の有効性は、投機的復号化トークンの受理率と製造コストの2つの量に支配されている。 この2つの目的をアルゴリズム・システムの共同設計と組み合わせて最適化できることを示し、JetSpec++は、ほぼ完全にコストを隠しながら、強力な学習されたドラフトモデルを保持する。 JetSpec++は3つのコンポーネントを組み合わせる: ブロック内自己改善(Intra-block self refinement) — トークンブロック内の独自の並列予測を反復的に修正するようにドラフトモデルをトレーニングする。 最先端の投機的復号法と比較すると、JetSpec++は最大7.45\times$over autoregressive (AR) decodingと1.54\times$ over DSpark、GB200の単一要求で毎秒1,361トークン、ターゲットモデルの出力分布を保ちながら平均8.94の受入長を達成している。 私たちのコードとモデルはhttps://github.com/hao-ai-lab/JetSpecで公開されています。

関連論文リスト

• SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference [30.581142873134922]
  受信時間よりも予測スループットを最大化するためにSpecFitを提案する。 CNN/DailyMailの要約とQwen3-30B-A3BによるGSM8Kサブセットでは、SpecFitはEagle-3より21.6%と7.0%高速である。
  論文  参考訳（メタデータ） (2026-10-11T07:41:12Z)
• LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization [14.897282681862324]
  投機的復号化は、並列検証のために複数のトークンを起草することで、大きな言語モデル推論を加速する。 トレーニング不要でプラグアンドプレイのアルゴリズムである textitLibraSpec を開発した。
  論文  参考訳（メタデータ） (2026-08-09T14:15:14Z)
• JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting [44.70535853030503]
  投機的復号(SD)は、複数のトークンを起草し、それらを並列に検証することによって、自己回帰的大規模言語モデル(LLM)を加速する。 従来のヘッドベースSD法は因果効率ジレンマに直面していた。 本稿では,一方向起案効率と分岐的因果条件を組み合わせたヘッドベースSDフレームワークJetSpecを提案する。
  論文  参考訳（メタデータ） (2026-06-16T18:37:32Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation [80.2267931231335]
  本稿では,自己回帰(AR)デコーディングを高速化する投機的実行のアイデアを活用するための投機的デコーディング(SpecDec)を提案する。 SpecDecには2つのイノベーションがある。Spec-Drafter - 効率的なドラフトのために特別に最適化された独立モデル、Spec-Verification - ドラフトされたトークンを効率的に検証するための信頼性の高い方法である。
  論文  参考訳（メタデータ） (2022-03-30T17:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。