論文の概要: RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training

• arxiv url: http://arxiv.org/abs/2610.31098v1
• Date: Thu, 22 Oct 2026 11:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.332112
• Title: RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training
• Title（参考訳）: RIFT:相補的圧縮性訓練によるドラフトモデルのKVキャッシュ圧縮
• Abstract要約: 選択型KVキャッシュ圧縮において,デコード精度はドラフトモデルの精度を劣化させることができることを示す。 そこで本研究では,設計者の品質を維持しつつ,スコア計算の回数を削減する適応的なKVリフレッシュ戦略を提案する。 圧縮性トレーニングと組み合わせて、RIFTはQwen3.5-4BのドラフトであるQwen3.5-122Bをフルキャッシュの98%以上保持することを可能にする。
• 参考スコア（独自算出の注目度）: 6.2949538982909266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding is a popular decode acceleration method. As such, it is particularly relevant to long-output generation, which requires an increasingly large KV cache. KV cache compression offers a way to constrain costs in long-context drafting. However, compression methods that focus on prefill information can lose relevance as the output length grows. We term this phenomenon decode staleness and show that it degrades draft model accuracy under selection-based KV cache compression. We introduce RIFT, a family of selection-based KV cache compression strategies that balance prefill information and recent generated tokens. We show that refreshing the KV cache selection during token generation significantly improves the drafter's quality at the cost of additional decode latency. To alleviate the refresh costs, we propose an adaptive KV refresh strategy that reduces the number of score calculations while retaining the drafter's quality. We further demonstrate how a compressibility-driven drafter training phase, based on sparse attention masks, can improve the drafter's quality under a compressed KV cache. Combined with compressibility training, RIFT enables Qwen3.5-4B, drafting for Qwen3.5-122B, to retain over 98% of its full-cache acceptance length on 32K-token inputs, 4K-token outputs, and an 8K-token KV cache budget.
• Abstract（参考訳）: 投機的復号化は一般的な復号化法である。 そのため、特にKVキャッシュの増大を必要とする長期出力生成に関係している。 KVキャッシュ圧縮は、長いコンテキストのドラフト作成においてコストを制約する方法を提供する。 しかし、プリフィル情報にフォーカスする圧縮手法は、出力長が大きくなるにつれて、関連性が失われる可能性がある。 我々は,この現象を復号化して,選択型KVキャッシュ圧縮下でのドラフトモデルの精度を劣化させることを示す。 選択型KVキャッシュ圧縮戦略のファミリーであるRIFTを導入し、プリフィル情報と最近生成されたトークンのバランスをとる。 トークン生成時のKVキャッシュ選択のリフレッシュは,デコード遅延の増大を犠牲にして,プロダクタの品質を著しく向上させることを示す。 更新コストを軽減するため,原案の品質を維持しつつ,スコア計算の回数を削減する適応型KVリフレッシュ戦略を提案する。 さらに, 低注意マスクに基づく圧縮性駆動型ドラフトラトレーニングフェーズにより, 圧縮KVキャッシュ下でのドラフトラの品質が向上することを示す。 圧縮性トレーニングと組み合わせて、RIFTはQwen3.5-4BのドラフトであるQwen3.5-122Bを32K-token入力、4K-token出力、および8K-token KVキャッシュ予算の98%以上を保持することができる。

関連論文リスト

• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation [14.33163594016033]
  大規模言語モデル(LLM)は、かなりのプリフィル計算とキー値(KV)キャッシュを必要とする。 KVキャッシュをプレフィルアクセラレーションで圧縮する最近の作業は、このコストを低減しているが、誤ってプリフィル計算の削減をデコードKV予算に結び付ける。 FastKVはKVキャッシュ圧縮フレームワークで、プリフィルとデコードの両方の遅延を減らし、後のレイヤでのトークンの重要性の安定化を活用する。
  論文  参考訳（メタデータ） (2025-02-03T05:25:09Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• ZipCache: Accurate and Efficient KV Cache Quantization with Salient Token Identification [19.985314022860432]
  KVキャッシュは、再計算を避けるために、以前のトークンからキーと値の状態を格納する。 KVキャッシュ圧縮はトークンの正当性を識別し、重要でないトークンを積極的に圧縮しながら重要な情報を保存する。 LLMの高精度かつ効率的なKVキャッシュ量子化手法ZipCacheを提案する。
  論文  参考訳（メタデータ） (2024-05-23T07:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。