論文の概要: MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference
- arxiv url: http://arxiv.org/abs/2609.07966v1
- Date: Mon, 07 Sep 2026 20:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.519438
- Title: MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference
- Title（参考訳）: MetaKV:制約付きLLM推論のための適応KVキャッシュ圧縮
- Abstract要約: キー値(KV)キャッシュ圧縮は、大きな言語モデル(LLM)推論のメモリオーバーヘッドを低減する効果的な方法である。
既存の圧縮手法では、精度、推論遅延、ピークKVキャッシュメモリ利用のトレードオフが異なる。
ユーザが指定したレイテンシとピークメモリの予算に基づいて,各入力プロンプトに対してKVキャッシュ圧縮構成を選択する適応型フレームワークであるMetaKVを紹介する。
- 参考スコア（独自算出の注目度）: 0.868052960805382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Key--value (KV) cache compression is an effective way to reduce the memory overhead of large language model (LLM) inference, particularly for long-context workloads. However, existing compression methods make different trade-offs among accuracy, inference latency, and peak KV cache memory utilization, making a single fixed configuration unsuitable across different prompts and resource constraints. We introduce MetaKV, an adaptive framework that selects a KV cache compression configuration for each input prompt based on user-specified latency and peak memory budgets. MetaKV uses lightweight prediction models to estimate the end-to-end latency, peak memory, and probability of a correct response for each candidate configuration, and selects the configuration that best satisfies the latency-memory constraints while preserving accuracy. We evaluate MetaKV across ten configurations from three representative KV cache compression methods, KVQuant, H$_2$O, and RocketKV, together with an uncompressed FP16 configuration, on four datasets covering mathematics, science, commonsense reasoning, and reading comprehension. Across a wide range of latency and peak memory constraints, MetaKV consistently outperforms the best static configuration, improving constrained success rate (CSR), the fraction of prompts answered correctly while satisfying both constraints, by approximately 0.07 on average and up to 0.135. These results demonstrate the benefit of adapting KV cache compression to individual prompts and latency-memory constraints. Code is available at https://github.com/MichaelWang0505/MetaKV.git
- Abstract（参考訳）: キー値(KV)キャッシュ圧縮は、特に長期のワークロードにおいて、大規模言語モデル(LLM)推論のメモリオーバーヘッドを低減する効果的な方法である。
しかし、既存の圧縮手法では、精度、推論遅延、ピークKVキャッシュメモリ利用のトレードオフが異なるため、異なるプロンプトやリソース制約に対して単一の固定構成が適さない。
ユーザが指定したレイテンシとピークメモリの予算に基づいて,各入力プロンプトに対してKVキャッシュ圧縮構成を選択する適応型フレームワークであるMetaKVを紹介する。
MetaKVは、軽量な予測モデルを使用して、各候補設定に対して、エンドツーエンドのレイテンシ、ピークメモリ、正しい応答の確率を推定し、精度を維持しながら遅延依存性の制約を最も満足する構成を選択する。
KVQuant, H$_2$O, RocketKVの3つの代表的なKVキャッシュ圧縮手法から, 数学, 科学, 常識推論, 読書理解の4つのデータセットを用いて, メタKVを10種類の構成で評価した。
幅広いレイテンシとピークメモリの制約の中で、MetaKVは一貫して最高の静的構成よりも優れており、制約付き成功率(CSR)が向上している。
これらの結果は、KVキャッシュ圧縮を個々のプロンプトと遅延メモリ制約に適応する利点を示している。
コードはhttps://github.com/MichaelWang0505/MetaKV.gitで入手できる。
関連論文リスト
- MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression [6.5757024278093565]
長いコンテキストのLLMサービスは、数十万から数百万のトークンでプロンプトを持続し、キーバリュー(KV)キャッシュをファーストオーダーのサービスコストにする。
MosaicKVは、非常に長いコンテキストを提供するための動的2次元圧縮システムである。
論文 参考訳（メタデータ） (2026-07-01T10:44:57Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - PackKV: Reducing KV Cache Memory Footprint through LLM-Aware Lossy Compression [8.427136461713706]
汎用的で効率的なKVキャッシュ管理フレームワークである textbfPackKV を提案する。
PackKVはレイテンシクリティカルとスループットクリティカルの両方の推論シナリオをサポートする。
論文 参考訳（メタデータ） (2025-12-30T20:05:32Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference [6.222836318380985]
BaKlaVaは、モデル全体で個々のKVキャッシュに対して最適なメモリを割り当てる手法である。
LLaMA-3-8BモデルとQwen2.5-7Bモデルについて検討した。
論文 参考訳（メタデータ） (2025-02-18T04:08:29Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z) - ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。
ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。
結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
論文 参考訳（メタデータ） (2025-02-01T03:49:47Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。
本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。
Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
論文 参考訳（メタデータ） (2024-09-30T19:09:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。