論文の概要: BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding

• arxiv url: http://arxiv.org/abs/2606.00144v1
• Date: Fri, 29 May 2026 02:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.060502
• Title: BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding
• Title（参考訳）: BudgetDraft: スパースKV投機復号のためのアクセプタンス対応マルチビュートレーニング
• Abstract要約: BudgetDraftは、中間から長期の推論においてスパースドラフトのトレーニング方法である。 BudgetDraftは、最大6.55倍、4.46倍、2.10倍のエンドツーエンドのスピードアップを、4K、8K、16Kのコンテキスト長で達成している。
• 参考スコア（独自算出の注目度）: 7.193143482416172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding speeds up autoregressive decoding by using a drafter to propose multiple tokens that a verifier validates in parallel. In resource-constrained deployments, the drafter uses a sparse KV cache to limit peak GPU memory and end-to-end latency under a fixed KV budget, while the verifier keeps a full KV cache. Mid-to-long context inference (4K--16K context length) is common in real applications. However, naive sparse/full speculative decoding suffers from the sparse/full mismatch as context length grows, causing the acceptance rate to drop quickly. We propose BudgetDraft, a multi-view sparse training method for sparse drafting in mid-to-long inference. The drafter is exposed to multiple sampled KV budgets during training and learns to align each sparse view with one shared full-cache teacher target. BudgetDraft combines an acceptance-aware loss on a full-cache branch with a multi-view loss on a sparse-cache branch, producing a single budget-robust drafter that recovers acceptance across sparsity levels without extra inference-time components. Experimental results on PG-19, LongBench, and LWM show that BudgetDraft achieves up to 6.55x, 4.46x, and 2.10x end-to-end speedup vs AR at 4K, 8K, and 16K context lengths, while keeping the inference pipeline memory-friendly.
• Abstract（参考訳）: 投機的復号化は、証明器が並列に検証する複数のトークンをプロジェクタを使って自動回帰復号化を高速化する。 リソース制約のあるデプロイメントでは、ドラフトアはスパースKVキャッシュを使用して、GPUメモリのピークと固定KV予算下でのエンドツーエンドのレイテンシを制限し、検証者は完全なKVキャッシュを保持する。 ミドル・ツー・ロング・コンテキスト推論(4K-16Kコンテキスト長)は、実際のアプリケーションでは一般的である。 しかし、スパース/フル投機的復号化は、文脈長が大きくなるにつれてスパース/フルミスマッチに悩まされ、受理率が急速に低下する。 本研究では,マルチビュー・スパース・トレーニング手法であるBudgetDraftを提案する。 ドラフト作成者は、トレーニング中に複数のサンプルKV予算に晒され、各スパースビューを1つのフルキャッシュの教師目標と整合させることを学ぶ。 BudgetDraftは、フルキャッシュブランチでの受け入れ意識の損失とスパースキャッシュブランチでのマルチビューの損失を組み合わせることで、余分な推論時間コンポーネントなしで、広範囲の受け入れを回復する単一の予算ローバストなドラフトラを生成する。 PG-19、LongBench、LWMの実験結果から、BudgetDraftは最大6.55倍、4.46倍、および2.10倍のエンドツーエンドのスピードアップを、4K、8K、16Kのコンテキスト長で達成し、推論パイプラインをメモリフレンドリに保ちながら達成している。

関連論文リスト

• MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference [0.868052960805382]
  キー値(KV)キャッシュ圧縮は、大きな言語モデル(LLM)推論のメモリオーバーヘッドを低減する効果的な方法である。 既存の圧縮手法では、精度、推論遅延、ピークKVキャッシュメモリ利用のトレードオフが異なる。 ユーザが指定したレイテンシとピークメモリの予算に基づいて,各入力プロンプトに対してKVキャッシュ圧縮構成を選択する適応型フレームワークであるMetaKVを紹介する。
  論文  参考訳（メタデータ） (2026-09-07T20:44:23Z)
• S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching [38.29032214906932]
  S$4$Rを提案し、選択されたサンプルトークンから低ランクな部分空間を構築し、わずかに再構成されたKV表現に注意を向ける。 LlamaとQwenモデルファミリを用いたLongBenchとRULERの実験では、S$4$Rが最大5$times$KV圧縮をほぼフルキャッシュ精度で達成している。
  論文  参考訳（メタデータ） (2026-08-01T08:41:29Z)
• C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference [31.428047145437773]
  長文推論は、検索拡張生成やマルチドキュメント推論といった現代の大規模言語モデル(LLM)アプリケーションの中心である。 推論コストの増大を軽減するため、最近の研究では、余分なプリフィル計算を減らすためにキー値(KV)キャッシュの再利用を検討した。 既存の再利用手法は主に保存に重点を置いており、KVキャッシュの保存とアクセスのコストという長期的サービスにおける重要なボトルネックを見落としている。
  論文  参考訳（メタデータ） (2026-07-20T09:09:23Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。