論文の概要: PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression
- arxiv url: http://arxiv.org/abs/2608.23843v1
- Date: Mon, 24 Aug 2026 21:30:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.625053
- Title: PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression
- Title（参考訳）: PuzzleKV: KVキャッシュ圧縮のためのページ幅低ランク分解
- Abstract要約: PuzzleKVは大規模言語モデルの低ランク圧縮法である。
各層とKVヘッド内のページを分解し、高密度で分解されたページに直接注意を計算し、新たに利用可能なページを漸進的に圧縮する。
評価されたモデルとすべてのベンチマーク設定で、フルKVパフォーマンスの96%以上を達成する。
- 参考スコア（独自算出の注目度）: 6.397490960170785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-context inference in large language models (LLMs) is increasingly limited by the memory required for the key-value (KV) cache. KV cache compression addresses this problem by reducing the storage cost of previous tokens. Among existing approaches, low-rank compression is particularly attractive because it represents every token in reduced dimensions. Previous low-rank methods typically derive fixed projection spaces from model weights, construct fixed spaces from calibration activations, or construct a shared basis over a broad cache region. Such representations may not capture detailed but important information. We partition each per-head KV cache into fixed-length logical pages and observe substantial low-rank structure within individual pages. Based on this observation, we propose PuzzleKV, a training- and calibration-free method that treats each completed page as an independent compression unit. PuzzleKV decomposes pages within each layer and KV head, computes attention directly over dense and factorized pages, and incrementally compresses newly eligible pages during autoregressive decoding. Experiments across models, context lengths, and benchmarks demonstrate the effectiveness of PuzzleKV under matched storage budgets. At approximately 60% of the original KV cache storage, PuzzleKV achieves more than 96% of Full KV performance across both evaluated models and all benchmark settings, with substantial gains over Global SVD on RULER and competitive performance on LongBench. To achieve a more aggressive compression ratio, PuzzleKV can be further combined with quantization while retaining more than 93% of Full KV performance using only 18.7% of the original storage.
- Abstract（参考訳）: 大規模言語モデル(LLM)における長文推論は、キー値(KV)キャッシュに必要なメモリによってますます制限されている。
KVキャッシュ圧縮は、以前のトークンのストレージコストを削減することでこの問題に対処する。
既存の手法の中で、低ランク圧縮は、縮小次元における全てのトークンを表すため、特に魅力的である。
従来の低ランク法は通常、モデルの重みから固定射影空間を導出し、キャリブレーションアクティベーションから固定射影空間を構築したり、広いキャッシュ領域上で共有基底を構築したりしていた。
このような表現は、詳細だが重要な情報を捉えない。
我々は、各ヘッド毎のKVキャッシュを固定長論理ページに分割し、個々のページ内でかなりの低ランク構造を観察する。
そこで本研究では,各ページを独立した圧縮単位として扱う訓練・校正不要のPuzzleKVを提案する。
PuzzleKVは、各層とKVヘッド内のページを分解し、密度の高い、分解されたページに直接注意を計算し、自己回帰復号中に新たに適用可能なページを漸進的に圧縮する。
モデル、コンテキスト長、ベンチマークにわたる実験は、一致したストレージ予算の下でのPuzzleKVの有効性を示す。
当初のKVキャッシュストレージの約60%で、PuzzleKVは評価モデルとベンチマーク設定の両方でフルKVパフォーマンスの96%以上を達成しており、RULERのGlobal SVDとLongBenchの競合性能を大きく上回っている。
より攻撃的な圧縮比を達成するために、PuzzleKVは、元のストレージの18.7%しか使用せず、フルKV性能の93%以上を保持しながら、さらに量子化と組み合わせることができる。
関連論文リスト
- SGD-KV: Summarization Guided KV Cache Compression [21.816110519918876]
大規模言語モデル(LLM)は、線形に増大するキー値(KV)キャッシュのため、長いコンテキスト推論において深刻なメモリボトルネックに直面している。
SGD-KVは,階層的情報集約に特有な注意ヘッドを体系的に識別し,優先するために,新しいチャンク要約診断タスクを活用する,頭部認識フレームワークである。
以上の結果から,KVキャッシュ予算を注目ヘッドの総和スコア分布に基づいて戦略的に割り当てることにより,長文推論における効率・精度のトレードオフが良好であることが示唆された。
論文 参考訳（メタデータ） (2026-09-03T00:31:11Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。
提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-08-22T06:55:45Z) - R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。
R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。
驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
論文 参考訳（メタデータ） (2025-05-30T02:03:24Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference [6.222836318380985]
BaKlaVaは、モデル全体で個々のKVキャッシュに対して最適なメモリを割り当てる手法である。
LLaMA-3-8BモデルとQwen2.5-7Bモデルについて検討した。
論文 参考訳（メタデータ） (2025-02-18T04:08:29Z) - ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。
本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。
実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
論文 参考訳（メタデータ） (2024-12-12T07:52:56Z) - KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳（メタデータ） (2024-10-24T08:06:41Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。
本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。
Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
論文 参考訳（メタデータ） (2024-09-30T19:09:13Z) - PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。
提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。
Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
論文 参考訳（メタデータ） (2024-06-04T07:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。