論文の概要: Behavior-Preserving KV Cache Compression

• arxiv url: http://arxiv.org/abs/2610.06479v1
• Date: Mon, 05 Oct 2026 15:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:08:11.631314
• Title: Behavior-Preserving KV Cache Compression
• Title（参考訳）: 挙動保存型KVキャッシュ圧縮
• Abstract要約: KVキャッシュは、大規模言語モデルによる長文推論と長文生成において、大きなボトルネックとなっている。 キャッシュ圧縮は、代わりにフルキャッシュモデルの予測動作を保存するべきだと我々は主張する。 提案手法は,学習不要なフレームワークである行動保存型KVキャッシュ圧縮である。
• 参考スコア（独自算出の注目度）: 15.401705814313205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV caches are a major bottleneck in long-context inference and long-form generation with large language models. Existing training-free eviction policies largely rely on proxy importance signals, such as attention mass, to decide which past tokens to retain. We argue that cache compression should instead preserve the predictive behavior of the full-cache model, retaining entries whose removal would substantially change the model's output distribution. We propose Behavior-Preserving KV Cache Compression, a training-free framework that scores candidate evictions by estimating the compressed-cache logits induced by their removal and evaluating the resulting KL to the full-cache next-token distribution. Using pre-eviction forward statistics, the method avoids running separate masked forward passes for each candidate. Across diverse architectures and both prefill-time and generation-time compression, our method delivers substantial gains in downstream task quality over lightweight attention-based heuristics at matched retained-KV budgets, with the largest gains under aggressive compression. It achieves these gains with additional compression-time computation while retaining an end-to-end speedup over full-cache inference in our evaluated settings.
• Abstract（参考訳）: KVキャッシュは、大規模言語モデルによる長文推論と長文生成において、大きなボトルネックとなっている。 既存のトレーニングなしの排除ポリシーは、どの過去のトークンを保持するかを決定するために、注意質量のようなプロキシの重要信号に大きく依存している。 キャッシュ圧縮は、代わりにフルキャッシュモデルの予測挙動を保ち、削除したエントリがモデルの出力分布を著しく変化させるであろうことを論じる。 本稿では, 圧縮キャッシュのロジットを除去により推定し, 得られたKLをフルキャッシュの次トーケン分布に評価することにより, 学習不要なフレームワークである振舞い保存KVキャッシュ圧縮を提案する。 予測前フォワード統計を用いて、各候補に対して個別のマスク付きフォワードパスを実行することを避ける。 本手法は,多種多様なアーキテクチャと,プレフィル時間と世代間圧縮の両方において,一致した残留KV予算における軽視に基づくヒューリスティックよりもダウンストリームタスク品質が大幅に向上し,アグレッシブ圧縮による最大の利得が得られる。 評価設定において、フルキャッシュ推論よりもエンドツーエンドのスピードアップを維持しながら、追加の圧縮時間計算でこれらのゲインを達成する。

関連論文リスト

• PatchKV: Weight-Space Compensation of KV Cache [15.880081995247473]
  LLM(Long-Context Inference with Large Language Models)は、キー値(KV)キャッシュの線形的に増大するメモリによってボトルネックとなる。 本稿では,KVキャッシュ圧縮手法を補償する学習自由フレームワークであるPatchKVを提案する。
  論文  参考訳（メタデータ） (2026-09-30T09:01:52Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
  高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。 KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。 本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T14:56:17Z)
• Expected Attention: KV Cache Compression by Estimating Attention from Future Queries Distribution [2.894551569099569]
  我々は、KVペアの重要性を予測し、将来のクエリがそれに参加するかを予測する、トレーニング不要な圧縮手法である、textbfExpected Attentionを紹介した。 本手法はプリフィルとデコードの両方のフェーズでシームレスに動作し,両シナリオにおいて常に最先端のベースラインよりも優れています。 $textbfweがKVPressをリリースした。KVキャッシュ圧縮メソッドの実装とベンチマークを可能にする包括的なライブラリだ。
  論文  参考訳（メタデータ） (2025-10-01T08:12:14Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。