論文の概要: ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression
- arxiv url: http://arxiv.org/abs/2607.29591v1
- Date: Fri, 31 Jul 2026 16:16:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.794279
- Title: ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression
- Title（参考訳）: ResKV:固定予算KVキャッシュ圧縮のためのOmmatted Attention Contributionsの再構築
- Abstract要約: KVキャッシュ圧縮は、効率的な長文推論に不可欠である。
マージベースの代替手段は、より多くの情報を保持するが、正確に保持すべきキーと値を摂動することができる。
本稿では,固定KV予算を正確な主キャッシュとコンパクトな残留キャッシュに分割するResKVを提案する。
- 参考スコア（独自算出の注目度）: 25.24197102648478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: KV cache compression is essential for efficient long-context inference. Existing eviction methods permanently discard unselected tokens and consequently remove their aggregate contribution to attention. Merging-based alternatives preserve more information but can perturb retained keys and values that should remain exact. We observe that the information omitted by cache eviction can be formulated as residual statistics in both the numerator and denominator of softmax attention. Based on this observation, we propose ResKV, which divides a fixed KV budget into an exact main cache and a compact residual cache that reconstructs the contribution of omitted tokens. ResKV lets main-cache tokens and residual entries participate in the same softmax normalization, so residual entries restore both attention numerator and denominator mass rather than acting as a post-hoc correction. A construction-time validation proxy determines residual allocation for each layer and KV head, while a decode-time dynamic gate adjusts residual contributions for individual queries. Comprehensive evaluations on LongBench and RULER, covering query-aware and query-agnostic settings, multiple backbones, cache budgets, and representative compression baselines, demonstrate broad improvements under the same retained KV budget while preserving the practical efficiency of compressed decoding, including peak memory usage and long-context decode throughput.
- Abstract（参考訳）: KVキャッシュ圧縮は、効率的な長文推論に不可欠である。
既存の排除法は、選択されていないトークンを永久に破棄し、その結果、注意への総括的貢献を取り除く。
マージベースの代替手段は、より多くの情報を保持するが、正確なキーと値を保持することができる。
キャッシュ消去によって省略される情報は,軟弱注意の数値化と分母化の両方において,残差統計として定式化することができる。
そこで本研究では,固定KV予算を正確な主キャッシュと省略トークンのコントリビューションを再構築するコンパクトな残留キャッシュに分割するResKVを提案する。
ResKVはメインキャッシュトークンと残基を同じソフトマックス正規化に参加させるので、残基はポストホック補正として働くのではなく、アテンション数値とデノミネーター質量の両方を復元する。
構成時検証プロキシは、各層とKVヘッドの残差割り当てを決定し、デコード時動的ゲートは個々のクエリに対する残差コントリビューションを調整する。
LongBenchとRULERの総合的な評価では、クエリ認識とクエリ非依存の設定、複数のバックボーン、キャッシュ予算、代表的圧縮ベースラインを網羅し、ピークメモリ使用量や長文復号スループットを含む圧縮復号の実用的効率を保ちながら、同じ維持KV予算の下で広範な改善を実証している。
関連論文リスト
- Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。
KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。
GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
論文 参考訳（メタデータ） (2026-05-29T10:16:30Z) - MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。
MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。
長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-05-21T10:13:03Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction [3.1897721055763024]
本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。
各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンについて、正確な注意を計算します。
我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。
論文 参考訳（メタデータ） (2026-04-07T05:19:54Z) - Crystal-KV: Efficient KV Cache Management for Chain-of-Thought LLMs via Answer-First Principle [22.39292106468653]
CoT(Chain-of-Thought)推論は複雑なタスクの精度を大幅に向上させる。
CoTは最終的な答えを強調し、従来のKV圧縮戦略を非効率にする。
CoT推論に適した効率的なKVキャッシュ管理フレームワークであるCrystal-KVを提案する。
論文 参考訳（メタデータ） (2026-01-05T07:42:58Z) - KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。
2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。
32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
論文 参考訳（メタデータ） (2025-12-01T03:59:20Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - KeepKV: Eliminating Output Perturbation in KV Cache Compression for Efficient LLMs Inference [16.53643930310808]
KeepKVは、厳しいメモリ制約下で性能を保ちながら出力摂動を排除するために設計された、新しい適応KVキャッシュマージ手法である。
KeepKVはメモリ使用量を大幅に削減し、推論スループットを2倍以上に向上し、10%のKVキャッシュ予算でも優れた生成品質を維持している。
論文 参考訳（メタデータ） (2025-04-14T06:58:00Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。
ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。
結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
論文 参考訳（メタデータ） (2025-02-01T03:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。