論文の概要: KVpop -- Key-Value Cache Compression with Predictive Online Pruning

• arxiv url: http://arxiv.org/abs/2607.05061v2
• Date: Wed, 08 Jul 2026 15:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.255907
• Title: KVpop -- Key-Value Cache Compression with Predictive Online Pruning
• Title（参考訳）: KVpop -- 予測オンラインプルーニングによるキーバリューキャッシュ圧縮
• Authors: Lukas Hauzenberger, Niklas Schmidinger, Anamaria-Roberta Hartl, David Stap, Thomas Schmied, Sebastian Böck, Günter Klambauer, Sepp Hochreiter,
• Abstract要約: 我々は,KVpopを導入する。これは,固定予算のKV消去ポリシーを,直接監視することで学習する。 スコアラーは、高密度の注意マップを具体化せずに効率的に計算される、新しい未来の注意対象に対して訓練される。 KVpopは、Qwen3-4Bのフルアテンション性能の98%を75% KVキャッシュ圧縮で、97%を88%圧縮で維持し、確立されたエビクションベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 22.664867330302517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key-value (KV) cache growth is a major bottleneck in autoregressive decoding, as memory and bandwidth scale linearly with context length. Existing KV eviction methods often rely on static heuristics or proxy scores, which poorly track future token utility and cause brittle eviction as relevance shifts. To address this, we introduce KVpop, which learns a fixed-budget KV eviction policy by directly supervising the keep-or-drop decision. The scorer is trained against a novel future-attention target, computed efficiently without materializing dense attention maps. We further introduce a delayed memory-based scorer that, uniquely among learned eviction methods, defers scoring for a fixed number of steps to exploit near-future context. On AIME and HMMT mathematical reasoning, KVpop retains 98% of full-attention performance on Qwen3-4B at 75% KV cache compression and 97% at 88% compression, consistently outperforming established eviction baselines. Qwen3-8B shows even stronger results, reaching near-full teacher performance. These results show that supervising eviction with future-attention signals cuts memory costs while maintaining quality.
• Abstract（参考訳）: キー値(KV)キャッシュの増大は、メモリと帯域幅がコンテキスト長と線形にスケールするにつれて、自己回帰デコードにおいて大きなボトルネックとなる。 既存のKV消去法は、しばしば静的ヒューリスティックやプロキシスコアに依存しており、将来のトークンの効用を追跡できず、関連するシフトとして不安定な消去を引き起こす。 そこで我々はKVpopを導入する。これは固定予算のKV消去ポリシーを、直接監視することで学習するものである。 スコアラーは、高密度の注意マップを具体化せずに効率的に計算される、新しい未来の注意対象に対して訓練される。 さらに,学習した消去手法に特有な遅延メモリベースのスコアラを導入する。 AIME と HMMT の数学的推論では、KVpop は Qwen3-4B で 75% KV のキャッシュ圧縮で 98% 、97% の圧縮で 88% の圧縮で完全アテンション性能を保ち、確立された消去基準線を一貫して上回っている。 Qwen3-8Bはさらに強力な結果を示し、ほぼ完全な教師のパフォーマンスを達成した。 これらの結果から,将来の注意信号による消去の監視は,品質を維持しつつ,メモリコストを削減できることが示唆された。

関連論文リスト

• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
  大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。 本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
  論文  参考訳（メタデータ） (2025-11-29T14:21:33Z)
• Expected Attention: KV Cache Compression by Estimating Attention from Future Queries Distribution [2.894551569099569]
  我々は、KVペアの重要性を予測し、将来のクエリがそれに参加するかを予測する、トレーニング不要な圧縮手法である、textbfExpected Attentionを紹介した。 本手法はプリフィルとデコードの両方のフェーズでシームレスに動作し,両シナリオにおいて常に最先端のベースラインよりも優れています。 $textbfweがKVPressをリリースした。KVキャッシュ圧縮メソッドの実装とベンチマークを可能にする包括的なライブラリだ。
  論文  参考訳（メタデータ） (2025-10-01T08:12:14Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
  言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。 これによりキーバリュー(KV)キャッシュのメモリコストが増大する。 以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。 KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
  論文  参考訳（メタデータ） (2025-06-20T16:21:12Z)
• LazyEviction: Lagged KV Eviction with Attention Pattern Observation for Efficient Long Reasoning [21.761205124793175]
  拡張推論シーケンスでは、キー値(KV)キャッシュの増加によるGPUメモリオーバーヘッドが大幅に増加する。 既存のKVキャッシュ圧縮手法は、メモリボトルネックを軽減するが、長い推論タスクに苦労する。 トークンの繰り返しパターンに基づいた優先順位付けによる遅延繰り返しトークンを保持する観測窓ベースのラッチ消去フレームワークであるLazyEvictionを提案する。
  論文  参考訳（メタデータ） (2025-06-19T02:25:04Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。