論文の概要: Give the Drafter a Second Chance to Guess: Parallel Reconsideration for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2611.05724v1
- Date: Tue, 03 Nov 2026 22:52:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.896932
- Title: Give the Drafter a Second Chance to Guess: Parallel Reconsideration for Speculative Decoding
- Title(参考訳): ゲストに第2のチャンスを与える - 投機的デコーディングのための並列再考
- Abstract要約: パラレル再考(Parallel Reconsideration)について紹介する。
共同設計のトレーニングレシピとサービスタイムのドラフトアルゴリズムは、これら再検討された推測を、洗練された候補として元のドラフトツリーに追加する。
モデルとベンチマーク全体で、平均して、並列再考はベースラインを5.3%から10.2%、スピードアップを3.5%から9.2%改善している。
- 参考スコア(独自算出の注目度): 26.681513305217894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates large language model inference with a small drafter, whose per-guess acceptance rate determines the achievable speedup. Feature-level drafters share a design choice: every token, easy or hard, is drafted under a single forward pass. Many of the tokens the target rejects are ones the drafter is itself unsure about yet the target answers decisively. To address this, we introduce Parallel Reconsideration: guided by its own uncertainty, the drafter reconsiders its hesitant guesses with extra passes that run in parallel with the one-pass draft, adding negligible latency. A co-designed training recipe and serving-time drafting algorithm append these reconsidered guesses to the original draft tree as refined candidates. Across models and benchmarks, on average, Parallel Reconsideration improves over the baselines by 5.3% to 10.2% on acceptance length and by 3.5% to 9.2% on speedup.
- Abstract(参考訳): 投機的復号化は、小さなドラフト作成者による大きな言語モデル推論を加速させる。
すべてのトークンは、簡単か難しいかのどちらかで、1つのフォワードパスでドラフトされます。
ターゲットが拒否するトークンの多くは、ドラフト作成者自身は不確実だが、ターゲットが決定的に答えるトークンである。
これを解決するために、パラレル再考(Parallel Reconsideration)を紹介します。
共同設計のトレーニングレシピとサービスタイムのドラフトアルゴリズムは、これら再検討された推測を、洗練された候補として元のドラフトツリーに追加する。
モデルとベンチマーク全体で、平均して、並列再考はベースラインを5.3%から10.2%、スピードアップを3.5%から9.2%改善している。
関連論文リスト
- DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding [4.728206157621192]
ブロック拡散投機的復号化は、複数のトークンを並列にドラフトすることで、大きな言語モデル推論を加速する。
離散拡散における一段階のドラフトはトークン分解誤差によって制限される。
DStillは、ターゲット条件付きドラフト作成者自身の多段階改良を1段階のドラフト作成に蒸留するフレームワークである。
論文 参考訳(メタデータ) (2026-10-19T23:05:16Z) - DLoop: Looped Speculative Decoding [57.84976863792784]
投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。
検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。
提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
論文 参考訳(メタデータ) (2026-10-06T02:55:25Z) - When Parallel Drafter Meets Parallel Speculative Decoding [30.84797800779407]
DParaは効果的な並列ドラフトを再利用するフレームワークだが、バックボーンは保証されている。
Qwen3-8B と Qwen3-14B の実験では、DPara の平均速度は3.21times$と3.52times$である。
論文 参考訳(メタデータ) (2026-09-23T05:53:48Z) - Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。
従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。
パラレルドラフト-検証--ドラフトトレーニングを導入する。
論文 参考訳(メタデータ) (2026-09-13T18:20:31Z) - Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
本稿では,AdaptiveSpecを紹介した。
復号時に生成した内部信号から、両方の決定を適応させる。
最先端の自己回帰的投機的復号法よりもスループットを向上させる。
論文 参考訳(メタデータ) (2026-07-03T20:43:49Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳(メタデータ) (2026-05-28T04:30:22Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳(メタデータ) (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳(メタデータ) (2025-09-19T04:51:41Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳(メタデータ) (2025-05-24T10:26:27Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳(メタデータ) (2024-10-08T01:05:08Z) - PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。
PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。
各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
論文 参考訳(メタデータ) (2024-08-13T08:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。