論文の概要: Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
- arxiv url: http://arxiv.org/abs/2607.21535v1
- Date: Thu, 23 Jul 2026 17:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.497034
- Title: Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
- Title（参考訳）: Windowed-MTP:100万のコンテキストでフルコンテキストのドラフト-KV税を廃止
- Abstract要約: StreamingLLMスタイルのスライディングウィンドウを実装しました。
ウィンドウ化は、どのトークンが提案され、どのトークンが受け入れられるかだけを変える。
ドラフトのKV動作セットを一定に制限し、KVエントリの99%を1Mに落としている。
- 参考スコア（独自算出の注目度）: 0.20305676256390928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates autoregressive generation by having a cheap draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP/NEXTN) draft head under the assumption that the draft is negligibly cheap. At million-token context this breaks: an MTP draft head typically runs full attention over the entire KV cache at every draft step, so its read grows linearly with context and comes to dominate the draft cost -- precisely where speculation is most valuable. The effect compounds with draft length (a deep native draft can turn net-negative, slower than no speculation) and sharpens under hybrid/linear-attention targets, where cheaper verification leaves the draft's full-attention read exposed. We apply a StreamingLLM-style sliding window plus attention sink to the draft's attention only (Windowed-MTP), leaving full-attention verification intact. It is training-free, drop-in, and lossless by construction: the full-attention target still decides every accepted token, so windowing changes only which tokens are proposed, never which are accepted. It bounds the draft's KV working set to a constant, dropping ~99% of KV entries at 1M. Across three architecture families (Qwen GDN-MoE 35B/122B and a Mamba2-hybrid NoPE 120B) at 1M context on a single GPU in SGLang, windowing cuts the per-decode-step cost over the shipping native MTP draft by +28% to +44%, an input-invariant margin that widens with context. Since per-token latency is this cost divided by acceptance length, at matched acceptance end-to-end decode latency improves by the same amount, and more where windowing also lifts acceptance, while preserving the target's verified output distribution. Finally, the unread draft KV -- 7.7-11% of total KV at 1M -- is reclaimed via a compact ring buffer at no acceptance or quality cost.
- Abstract（参考訳）: 投機的復号化は、ターゲットが並列に検証するトークンを安価に提案することで自己回帰生成を加速する。
Frontierモデルでは、MTP/NEXTN(Multi-Token-Prediction)のドラフトヘッドを、ドラフトが無視できるほど安価であると仮定して出荷するようになっている。
MTPドラフトヘッドは、通常、ドラフトステップ毎にKVキャッシュ全体に完全に注意を払っているため、その読み込みはコンテキストとともに線形に増加し、ドラフトコストを支配します。
ドラフトの長さ(深いネイティブドラフトは、憶測よりも遅く、ネット陰性になることがある)を持つエフェクト化合物は、ハイブリッド/リニアアテンションターゲットの下でシャープされ、より安価な検証では、ドラフトのフルアテンション読み込みが露呈される。
StreamingLLMスタイルのスライディングウィンドウとアテンションシンクをドラフトの注意のみに適用し(Windowed-MTP)、完全なアテンション検証をそのまま残します。
フルアテンションターゲットは依然としてすべての受け入れトークンを決定するため、ウィンドウ化はどのトークンが提案され、どのトークンが受け入れられていないかだけを変える。
ドラフトのKV動作セットを一定に制限し、KVエントリの約99%を1Mに下げる。
3つのアーキテクチャファミリ(Qwen GDN-MoE 35B/122BとMamba2-hybrid NoPE 120B)をSGLangの1つのGPU上で1Mコンテキストで実行することで、ネイティブMPPドラフトを+28%から+44%削減する。
トーケン毎のレイテンシは、受け入れ時間によって分割されるため、一致した受信終端のデコードレイテンシは同じ量で改善され、さらに、ターゲットの検証出力分布を保ちながら、ウィンドウニングも受け入れを解放する。
最後に、未読のドラフトKV -- 総KVの1Mでの7.7-11% -- は、受け入れや品質の犠牲なしにコンパクトリングバッファを介して再利用される。
関連論文リスト
- Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。
従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。
パラレルドラフト-検証--ドラフトトレーニングを導入する。
論文 参考訳（メタデータ） (2026-09-13T18:20:31Z) - Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache [9.619930280504603]
長文文書要約アプリケーションは、数万のトークンにまたがるプレフィックスから生成する必要がある。
投機的復号(SD)は、モデル出力を変更することなくレイテンシを低減するが、そのスピードアップは受け入れられたドラフトトークンとドラフトステップの遅延の両方に依存する。
長文SDのためのメモリ拡張ドラフトを導入し、圧縮されたドラフトサイドKVメモリを備えた強力な独立したドラフトを実装した。
論文 参考訳（メタデータ） (2026-08-31T05:03:30Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding [7.193143482416172]
BudgetDraftは、中間から長期の推論においてスパースドラフトのトレーニング方法である。
BudgetDraftは、最大6.55倍、4.46倍、2.10倍のエンドツーエンドのスピードアップを、4K、8K、16Kのコンテキスト長で達成している。
論文 参考訳（メタデータ） (2026-05-29T02:31:18Z) - Faster LLM Inference via Sequential Monte Carlo [47.46537448240707]
連続モンテカルロ投機復号法(SMC-SD)を導入する。
SMC-SDはトークンレベルの拒絶を、ドラフト粒子の集団に対する重み付け再サンプリングに置き換える。
投機的復号化よりも2.36倍のスピードアップ、自動回帰復号化より5.2倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-04-17T03:52:23Z) - Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。
LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。
LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
論文 参考訳（メタデータ） (2026-04-14T08:40:31Z) - SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。
バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
論文 参考訳（メタデータ） (2026-02-06T22:12:52Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。
LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
論文 参考訳（メタデータ） (2025-02-16T07:06:00Z) - PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。
PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。
各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
論文 参考訳（メタデータ） (2024-08-13T08:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。