論文の概要: H-Spec: Parallel Speculative Decoding Without a Drafter-Side KV Cache

• arxiv url: http://arxiv.org/abs/2609.24197v1
• Date: Mon, 21 Sep 2026 07:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.120069
• Title: H-Spec: Parallel Speculative Decoding Without a Drafter-Side KV Cache
• Title（参考訳）: H-Spec:Drafter-Side KVキャッシュのない並列投機的デコード
• Abstract要約: ブロック・ドラフトアは入力位置毎に隠された状態を別のドラフトアサイドKVキャッシュにプロジェクターする。 直接ターゲットKV再利用を最終入力位置のみに隠れた状態に補完するハイブリッドターゲットコンテキスト注入法を提案する。 Mambaモジュールにはプロジェクションされた最終目標の隠蔽状態があり、アテンションモジュールはKVを再利用する。
• 参考スコア（独自算出の注目度）: 44.740883132386195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding losslessly accelerates large language model inference by having a lightweight draft model predict future tokens for verification by the target model. Recent block diffusion drafters further reduce drafting latency by predicting multiple tokens in parallel. However, existing block drafters project target hidden states at every input position into a separate drafter-side KV cache, incurring per-request memory and KV-write overhead that grow with concurrency; directly reusing target KVs in place removes this cache but fails to sustain draft quality throughout the block. We propose a hybrid target-context injection method that complements direct target KV reuse with target hidden states only at the last input position, requiring no separate drafter-side KV cache. Building on this design, we propose H-Spec, a hybrid Mamba-attention parallel drafter that consumes the two target-context sources through complementary modules. Mamba modules are initialized with projected last-token target hidden states, while attention modules reuse target KVs in place. Despite its recurrent formulation, Mamba's parallel scan allows H-Spec to preserve block-parallel drafting. Across three target models and diverse tasks, H-Spec improves over the best baseline by 5.0--13.3% in mean accepted length and 5.3--12.6% in batch-size-1 inter-token latency speedup. Under concurrent serving, H-Spec consistently achieves higher throughput while maintaining lower KV cache utilization than baselines across evaluated concurrency levels.
• Abstract（参考訳）: 投機的復号化は、目標モデルによる検証のための将来のトークンを軽量なドラフトモデルで予測することにより、大きな言語モデル推論を無意味に加速する。 最近のブロック拡散型ドラフトラは、複数のトークンを並列に予測することで、ドラフトの遅延をさらに減らしている。 しかし、既存のブロックドラフトアプロジェクトでは、各入力位置にある隠された状態を別のドラフトアサイドKVキャッシュにターゲットし、要求毎のメモリと並行性によって増加するKV書き込みオーバーヘッドを発生させ、ターゲットKVを直接再利用することで、このキャッシュを削除しているが、ブロック全体でドラフト品質を維持することができない。 直接ターゲットKV再利用を最終入力位置のみのターゲット隠れ状態に補完するハイブリッドターゲットコンテキスト注入法を提案し, ドラフト側KVキャッシュを別途必要としない。 本設計で提案するH-Specは,相補的なモジュールを通して2つのターゲットコンテキストソースを消費するハイブリッドなMamba-attention parallel drafterである。 Mambaモジュールはプロジェクションされた最終目標の隠れ状態で初期化され、アテンションモジュールはKVをターゲットとする。 再帰的な定式化にもかかわらず、Mambaの並列スキャンにより、H-Specはブロック並列のドラフトを保存できる。 3つのターゲットモデルと多様なタスクで、H-Specは最高のベースラインを5.0-13.3%改善し、バッチサイズ-1間の遅延速度は5.3-12.6%向上した。 並列サービスの下では、H-Specは、評価された並行レベルのベースラインよりも低いKVキャッシュ使用率を維持しながら、高いスループットを一貫して達成する。

関連論文リスト

• ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference [27.500701363213253]
  本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークを提案する。 ASPIREは自動回帰ベースラインよりも1.70$-4.58times$スピードアップを達成している。 最強の自己投機ベースラインよりも平均的なスピードアップを約27%向上させる。
  論文  参考訳（メタデータ） (2026-09-16T00:04:13Z)
• Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache [9.619930280504603]
  長文文書要約アプリケーションは、数万のトークンにまたがるプレフィックスから生成する必要がある。 投機的復号(SD)は、モデル出力を変更することなくレイテンシを低減するが、そのスピードアップは受け入れられたドラフトトークンとドラフトステップの遅延の両方に依存する。 長文SDのためのメモリ拡張ドラフトを導入し、圧縮されたドラフトサイドKVメモリを備えた強力な独立したドラフトを実装した。
  論文  参考訳（メタデータ） (2026-08-31T05:03:30Z)
• CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection [13.937483869660648]
  既存のスパースアテンションメソッドは、チャンクされたプリフィルに効率的に変換しない。 ブロック・ユニオンKV選択に基づくチャンクド・プレフィルアテンション機構であるCompactAttentionを提案する。 最大2.72$times$ attention speedup at 128K context length under chunked prefill。
  論文  参考訳（メタデータ） (2026-05-16T06:47:41Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism [20.3565068078231]
  仮説復号における分岐並列性を解き放つための新しいフレームワーク textbfSpecBranch を提案する。 SpecBranchがtextbf1.8$times sim$ textbf4.5$times$ speedups against the auto-regressive decoding and reduces rollback tokens by $textbf50$% for aligned model。
  論文  参考訳（メタデータ） (2025-05-16T07:45:05Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。