論文の概要: DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity

• arxiv url: http://arxiv.org/abs/2602.08005v1
• Date: Sun, 08 Feb 2026 15:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.922219
• Title: DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity
• Title（参考訳）: DeltaKV: 長距離類似性による残差ベースのKVキャッシュ圧縮
• Authors: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu,
• Abstract要約: そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
• 参考スコア（独自算出の注目度）: 50.52392445266824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of efficient long-context LLMs in applications like autonomous agents, long-chain reasoning, and creative writing is fundamentally bottlenecked by the linear growth of KV cache memory. Existing compression and eviction methods often struggle to balance accuracy, compression ratio, and hardware efficiency. We propose DeltaKV, a residual-based KV cache compression framework motivated by two empirical findings: long-range inter-token similarity and highly shared latent components in KV representations. Instead of discarding tokens, DeltaKV encodes semantic residuals relative to retrieved historical references, preserving fidelity while substantially reducing storage. To translate compression gains into real system speedups, we further introduce Sparse-vLLM, a high-performance inference engine with decoupled memory management and kernels optimized for sparse and irregular KV layouts. Experiments show that DeltaKV reduces KV cache memory to 29\% of the original while maintaining near-lossless accuracy on LongBench, SCBench, and AIME. When integrated with Sparse-vLLM, it achieves up to 2$\times$ throughput improvement over vLLM in long-context scenarios, demonstrating a practical path toward scalable long-context LLM deployment. Code, model checkpoints, and datasets are available at https://github.com/CURRENTF/Sparse-vLLM.
• Abstract（参考訳）: 自律エージェントやロングチェーン推論、クリエイティブな書き込みといったアプリケーションに効率的な長文LLMを配置することは、KVキャッシュメモリの線形成長によって根本的にボトルネックとなる。 既存の圧縮と消去の方法は、精度、圧縮比、ハードウェア効率のバランスをとるのにしばしば苦労する。 我々は,KV表現における長距離相互類似性と高共有潜在成分の2つの経験的発見を動機とする残差ベースのKVキャッシュ圧縮フレームワークであるDeltaKVを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 さらに,圧縮ゲインを実システムの高速化に変換するために,メモリ管理を分離した高速推論エンジンであるSparse-vLLMと,スパースおよび不規則なKVレイアウトに最適化されたカーネルを紹介する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29倍に削減する。 Sparse-vLLMに統合されると、長期コンテキストシナリオにおけるvLLMよりも最大2$\times$スループットの改善を実現し、スケーラブルな長期コンテキストLLMデプロイメントへの実践的な道筋を示す。 コード、モデルチェックポイント、データセットはhttps://github.com/CURRENTF/Sparse-vLLM.comで入手できる。

関連論文リスト

• Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
  既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。 KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。 これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
  論文  参考訳（メタデータ） (2026-01-06T14:50:58Z)
• KV Cache Transform Coding for Compact Storage in LLM Inference [2.20003167536462]
  KVTCは、KVキャッシュをコンパクトなオンGPUとオフGPUストレージに圧縮する軽量トランスフォーメーションコーダである。 KVキャッシュの冗長性を活用することで、KVTCは推論と長文の精度を維持しながら最大20$times$圧縮を達成する。 我々は、AIME25、LiveCodeBench、GSM8K、MMLU、Qasper、RULER、MATH-500を含むベンチマークで、Llama 3、Mistral NeMo、R1-Qwen 2.5モデルでKVTCをテストする。
  論文  参考訳（メタデータ） (2025-11-03T18:20:35Z)
• KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache [7.019967158501771]
  長文生成に最適化された汎用的で効率的なKVキャッシュ管理フレームワークであるKVCompを提案する。 KVCompは、KVキャッシュデータ特性に特化して設計された新しい損失圧縮技術を採用している。 KVCompは,従来の手法に比べて最大83%のメモリ削減率で,平均47%,最大83%の高速化を実現している。
  論文  参考訳（メタデータ） (2025-08-30T18:25:19Z)
• KV-Distill: Nearly Lossless Learnable Context Compression for LLMs [37.0803484148612]
  我々は、長いコンテキストKVキャッシュをはるかに短い表現に蒸留するTransformer圧縮フレームワークであるKV-Distillを紹介する。 KV-Distillは、事前訓練されたモデルに対するパラメータ効率の良い適応器として訓練することができる。 ドメイン固有のコンテキストを微調整することで、下流のパフォーマンスを維持しながら、最大99%の長さを削減できる。
  論文  参考訳（メタデータ） (2025-03-13T13:15:28Z)
• FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation [14.33163594016033]
  大規模言語モデル(LLM)は、かなりのプリフィル計算とキー値(KV)キャッシュを必要とする。 KVキャッシュをプレフィルアクセラレーションで圧縮する最近の作業は、このコストを低減しているが、誤ってプリフィル計算の削減をデコードKV予算に結び付ける。 FastKVはKVキャッシュ圧縮フレームワークで、プリフィルとデコードの両方の遅延を減らし、後のレイヤでのトークンの重要性の安定化を活用する。
  論文  参考訳（メタデータ） (2025-02-03T05:25:09Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。