論文の概要: CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache
- arxiv url: http://arxiv.org/abs/2610.02235v1
- Date: Mon, 28 Sep 2026 08:31:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.008972
- Title: CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache
- Title（参考訳）: CORE: KVキャッシュに対する平均校正と省略質量再分配
- Abstract要約: 長いコンテキストの復号化はキー値(KV)キャッシュメモリと帯域幅によってますます制限される。
既存の固定予算圧縮法は、通常、補償から保持を分離する。
COREは最強のRULERベースラインを最大3.78ポイント、90%の圧縮で上回っている。
- 参考スコア（独自算出の注目度）: 12.681037263571561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context decoding is increasingly constrained by key--value (KV) cache memory and bandwidth. Existing fixed-budget compression methods typically separate retention from compensation, while a retention ranking specifies neither discarded attention mass nor the direction of induced output error. We start from an exact factorization: eviction error equals evicted attention mass times the directional gap between the evicted centroid and retained output, highlighting the importance of set-level coverage in retention and mass-preserving memory writing. We introduce CORE COverage Calibration and Evicted-Mass REdistribution for KV Cache, which distills an offline allocation combining query utility and log-determinant coverage into a lightweight cache-aware indexer. At inference, one calibrated distribution drives both channels: its Top-$B$ ordering retains complementary KV states, while its excluded allocation mass and conditional weights parameterize latent-memory writes without a separate write-weight predictor or online log-determinant evaluation. Our analysis provides a four-term pre-compensation error certificate, characterizes non-additive coverage interactions, and establishes mass-independent write stability with hierarchical bounds through recurrent and query-adaptive normalization. Across three backbones, CORE exceeds the strongest RULER baseline by up to 3.78 points at 90\% compression; LongBench and repeated-eviction evaluations further demonstrate strong effectiveness and decoding efficiency.
- Abstract（参考訳）: 長いコンテキストの復号化はキー値(KV)キャッシュメモリと帯域幅によってますます制限される。
既存の固定予算圧縮法は、通常、補償から保持を分離するが、保持ランクは、捨てられた注目質量も出力誤差の方向も指定しない。
消去誤差は、削除されたセントロイドと出力の方向ギャップの時間に等しく、保持と大量保存メモリ書き込みにおける設定レベルカバレッジの重要性を強調する。
本稿では,KVキャッシュに対するCORE COverage CalibrationとEvicted-Mass Redistributionを紹介する。
1つのキャリブレーションされたディストリビューションは、両方のチャネルを駆動する。Top-B$順序付けは相補的なKV状態を保持し、一方、除外された割り当て質量と条件付き重み付けは、別の書き込み重み予測器やオンラインログ決定式を使わずに遅延メモリ書き込みをパラメータ化する。
本分析では, 繰り返しおよびクエリ適応正規化により, 非付加的カバレッジの相互作用を特徴付けるとともに, 階層境界による大量独立書き込み安定性を確立する。
3つのバックボーンにまたがって、COREは最大3.78ポイントの圧縮率でRULERベースラインを超える。
関連論文リスト
- CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression [25.24197102648478]
KVキャッシュ圧縮は、効率的な長文推論に不可欠である。
マージベースの代替手段は、より多くの情報を保持するが、正確に保持すべきキーと値を摂動することができる。
本稿では,固定KV予算を正確な主キャッシュとコンパクトな残留キャッシュに分割するResKVを提案する。
論文 参考訳（メタデータ） (2026-07-31T16:16:45Z) - DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。
DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
論文 参考訳（メタデータ） (2026-07-07T17:29:01Z) - MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference [12.316173390280609]
Transformerベースの言語モデルにおける自動回帰デコーディングは、KVキャッシュに依存している。
KVキャッシュ消去は、キーと値のペアの固定サイズのサブセットを保持し、残りを破棄することでこの問題に対処する。
本稿では, 除去トークン集合上のコンパクトで小型なモーメント統計量を維持するMomentKVを提案する。
論文 参考訳（メタデータ） (2026-06-01T02:08:40Z) - GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。
KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。
GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
論文 参考訳（メタデータ） (2026-05-29T10:16:30Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction [3.1897721055763024]
本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。
各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンについて、正確な注意を計算します。
我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。
論文 参考訳（メタデータ） (2026-04-07T05:19:54Z) - SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。
チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。
SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
論文 参考訳（メタデータ） (2025-08-21T03:48:28Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳（メタデータ） (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。