論文の概要: KV-Kaizen: Learning Context-Adaptive Cache Compression Choices

• arxiv url: http://arxiv.org/abs/2609.37988v2
• Date: Wed, 30 Sep 2026 17:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.335343
• Title: KV-Kaizen: Learning Context-Adaptive Cache Compression Choices
• Title（参考訳）: KV-Kaizen: コンテキスト適応型キャッシュ圧縮選択の学習
• Abstract要約: トークンを排除せずにキャッシュ圧縮に繋がる選択肢に注目する。 我々は、コンテキストに基づいて、階層ごとのキャッシュ構成を全体的な圧縮予算に向けて生成できるセレクタを学習する。 KV-Kaizenは、排除を改善し、それを構成でき、14Bモデルで32倍のデコードタイムキャッシュに達する。
• 参考スコア（独自算出の注目度）: 29.96349791357183
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As the context size of text processed with an LLM grows, the size of KV caches can outstrip the memory allocated for the original model weights. This impacts LLM throughput negatively, since decoding is memory-bound and decode cost grows with cache size. Recent work alleviates this bottleneck by discarding the least relevant tokens. Eviction introduces a tension, since a one-off decision to discard content may prove detrimental later. Instead, we focus on alternative choices that can lead to cache compression without evicting tokens. We achieve this by learning a selector that is able to produce, based on context, a per-layer cache configuration towards an overall compression budget. The selector operates along three axes: sharing one cache across layers (depth), caching at fewer bits (precision), or truncating the low-rank latent cache representations (rank). We call the resulting method KV-Kaizen, for the many small per-layer choices it compounds. We observe that these interventions taken independently and uniformly over all layers limit achievable compression because they degrade accuracy. Crucially, composing them locally and adaptively to the context can instead preserve accuracy while achieving large memory savings. At inference, the selector runs once, before pre-fill. In evaluations on instruction following and reasoning tasks, our selectors reach the Pareto frontier of accuracy against cache size, against learning-free and post-hoc baselines. On long-context tasks, KV-Kaizen improves on eviction and can be composed with it, reaching a 32x smaller decode-time cache on a 14B model while preserving accuracy. A 4x cache size reduction incurs no accuracy degradation from 7B parameters up, and a compressed model is more accurate than a smaller uncompressed one with the same cache size. Together, these findings support pre-training large models and compressing them only afterwards.
• Abstract（参考訳）: LLMで処理されたテキストのコンテキストサイズが大きくなると、KVキャッシュのサイズは元のモデルの重みに割り当てられたメモリを超えることができる。 これは、デコードがメモリバウンドであり、デコードコストがキャッシュサイズとともに増加するため、LCMスループットに悪影響を及ぼす。 最近の研究は、最も関係の少ないトークンを捨てることで、このボトルネックを軽減する。 コンテンツを捨てるというワンオフの決断は、後に有害になる可能性があるからである。 代わりに、トークンを排除せずにキャッシュ圧縮に繋がる代替の選択に焦点を当てます。 我々は、コンテキストに基づいて、階層単位のキャッシュ構成を全体的な圧縮予算に向けて生成できるセレクタを学習することで、これを実現する。 セレクタは3つの軸に沿って動作する: 層(深さ)をまたいだ1つのキャッシュの共有、少ないビット(精度)でのキャッシュの共有、低ランクの遅延キャッシュの表現の切り離し(ランク)。 得られた手法をKV-カイゼン(KV-カイゼン)と呼ぶ。 すべての層に対して独立に均一に行われるこれらの介入は、精度を低下させるため、達成可能な圧縮を制限する。 重要なことは、それらをローカルに、かつ、コンテキストに適応的に構成することは、代わりに大きなメモリ節約を達成しながら、正確性を維持することができる。 推測では、セレクタはプリフィルの前に1回実行される。 命令追従タスクおよび推論タスクの評価において、我々のセレクタは、キャッシュサイズに対する精度のParetoフロンティアに到達し、学習自由およびポストホックベースラインに対する。 長いコンテキストタスクでは、KV-Kaizenは省略性を改善し、それを構成でき、精度を保ちながら14Bモデル上で32倍のデコードタイムキャッシュに達する。 4倍のキャッシュサイズ削減は、7Bパラメータからの精度劣化を生じさせず、圧縮されたモデルは、キャッシュサイズが同じ小さな圧縮されていないものよりも精度が高い。 これらの知見は, 大規模モデルの事前訓練と, 圧縮後のみに有効である。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
  推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。 本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。 実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T07:52:56Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。