論文の概要: ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
- arxiv url: http://arxiv.org/abs/2611.13442v2
- Date: Fri, 13 Nov 2026 01:33:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.225074
- Title: ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
- Title(参考訳): ForeSpark: 並列投機的デコーディングのための共同ドラフトと検証予算スケジューリング
- Abstract要約: LLMサービスにおける要求毎のドラフトと検証の予算を共同で割り当てる設計を提案する。
ForeSparkは、最先端のDSparkよりも最大1.77倍、要求毎に一致した生成レートで自動回帰デコーディングより2.49倍のスループットを向上する。
- 参考スコア(独自算出の注目度): 2.527430907288929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel drafters accelerate LLM decoding by proposing a whole block of draft tokens in a single forward pass, making them attractive for LLM serving. Recent systems optimize goodput (i.e., accepted tokens per second) because rejected drafts steal compute from other requests. However, these systems control only how many tokens are verified, so every request still drafts a full block. At high serving load, we find that drafting consumes up to 40% of step time, of which a majority is discarded because it is never verified. Yet, draft-length control from autoregressive drafters does not carry over, because a parallel drafter commits to its length before its single pass. Moreover, draft and verification lengths are coupled across the batch, so they must be selected jointly for every request while keeping the decision computationally cheap at every step. In this paper, we propose work-conserving speculation (WCS), a design that jointly allocates draft and verification budgets per request in LLM serving, and present ForeSpark as its prototype. ForeSpark realizes WCS with (i) a context-aware pre-draft estimator that predicts acceptance for every candidate length from the target model's context features, (ii) a lightweight joint draft-verify scheduler that selects both lengths through a global sort, and (iii) a post-draft budget distribution that spends verification on the most promising tokens. Implemented on vLLM, ForeSpark improves throughput by up to 1.77x over the state-of-the-art DSpark and by 2.49x over autoregressive decoding at a matched per-request generation rate, without changing the output distribution. It also tolerates higher load, sustaining up to 1.51x the request rate of DSpark under latency service level objectives (SLOs).
- Abstract(参考訳): 並列草案作成者は、1つのフォワードパスに1ブロックのドラフトトークンを提案することでLLMデコーディングを加速し、LLMサービスにとって魅力的なものとなる。
最近のシステムでは、拒否されたドラフトが他の要求から計算を盗むため、出力を最適化する(すなわち、1秒間に受け入れられるトークン)。
しかしながら、これらのシステムは、認証されたトークンの数だけを制御するため、すべてのリクエストは依然として完全なブロックをドラフトする。
高いサービス負荷下では、ドラフトは最大40%のステップタイムを消費し、そのうちの過半数は検証されないため破棄される。
しかし、自動回帰型ドラフトラからのドラフト長制御は、平行なドラフトラがシングルパスの前にその長さにコミットするため、継続しない。
さらに、ドラフトと検証の長さはバッチ全体で結合されるため、すべての要求に対して共同で選択する必要がある。
本稿では,LLMサービスにおける要求毎のドラフトと検証予算を共同で割り当てるWCS(Work-Conserving speculation)を提案し,そのプロトタイプとしてForeSparkを提示する。
ForeSparkがWCSを実現
(i)対象モデルのコンテキスト特徴から候補長毎の受理を予測する文脈対応プレドラフト推定器。
(二)グローバルソートにより両長さを選択する軽量な共同ドラフト検証スケジューラ
三 最も有望なトークンの検証に費やした後予算配分
vLLMで実装されたForeSparkは、出力分布を変更することなく、最先端DSparkの最大1.77倍、自動回帰デコーディングの最大2.49倍のスループットを向上する。
また、高い負荷を許容し、レイテンシサービスレベル目標(SLO)の下で、DSparkの要求レートを最大1.51倍に維持する。
関連論文リスト
- SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding [22.338076931812765]
SpecOPDは、ネイティブな構成でシーケンシャルロールアウトDよりも最大41.45%高い平均受け入れ長と16.09タイムの教師付きトーケンを実現している。
受入距離を直接目標とするE2E-TVサロゲートを用いて、ドラフト機を訓練する。
本研究は,8Bフルアテンション(GQA),27Bフルリニア(GQA-GDN),125Bスパースリニア(QSA-GDN)にまたがる。
論文 参考訳(メタデータ) (2026-11-02T09:47:06Z) - SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - DLoop: Looped Speculative Decoding [57.84976863792784]
投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。
検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。
提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
論文 参考訳(メタデータ) (2026-10-06T02:55:25Z) - LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter [21.532092822766504]
LongSparkは、複数のモデルスケールにわたる最先端のエンドツーエンド効率を達成する、ブロック拡散ドラフトラである。
長いコンテキストタスクに対して最小の時間単位のコンテキストを提供すると同時に、ドラフトアのコンテキスト状態を桁違いに削減します。
論文 参考訳(メタデータ) (2026-09-29T08:42:58Z) - ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference [27.500701363213253]
本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークを提案する。
ASPIREは自動回帰ベースラインよりも1.70$-4.58times$スピードアップを達成している。
最強の自己投機ベースラインよりも平均的なスピードアップを約27%向上させる。
論文 参考訳(メタデータ) (2026-09-16T00:04:13Z) - ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳(メタデータ) (2026-08-25T11:25:55Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳(メタデータ) (2026-06-20T14:32:14Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳(メタデータ) (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳(メタデータ) (2025-09-19T04:51:41Z) - PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。
PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。
各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
論文 参考訳(メタデータ) (2024-08-13T08:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。