論文の概要: Every Cache Entry Earns Its Place: Global Allocation of Resolution and Coverage for KV Cache Compression

• arxiv url: http://arxiv.org/abs/2608.07001v1
• Date: Fri, 07 Aug 2026 09:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.44383
• Title: Every Cache Entry Earns Its Place: Global Allocation of Resolution and Coverage for KV Cache Compression
• Title（参考訳）: KVキャッシュ圧縮のためのグローバルな解決とカバレッジの割り当て
• Abstract要約: GraceKVは、KVキャッシュ圧縮における解像度とカバレッジの割り当てに対するグローバルなアプローチである。 我々は,GraceKVが32設定中24項目で第1位であり,最大128倍圧縮まで頑健であることを示す。
• 参考スコア（独自算出の注目度）: 4.542360496044944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) process increasingly long contexts, KV cache storage and repeated access have become a major bottleneck. Existing KV cache compression methods rely on predefined, fixed compression rules and are typically developed around either token eviction or merging. As a result, cache resources can neither flow freely across layers, heads, and context slots, nor be jointly allocated to balance local resolution and information coverage. Therefore, we propose GraceKV, a global approach for the allocation of resolution and coverage in KV cache compression, and formulate the compression process as a global resource allocation problem under a fixed cache budget. GraceKV treats each layer-KV head-slot combination as an atomic unit and builds a prototype tree. Leaf nodes correspond to token-level KV entries, while each internal node uses a single prototype to compress the KV space covered by its children. A set of non-overlapping nodes in the tree forms the representation of an atomic unit. Adding the root of a new tree expands information coverage, whereas splitting a selected node improves local resolution. All candidate actions compete globally for a shared cache budget. Finally, the nodes retained across all trees form the compressed KV cache. This process adaptively determines the allocation of cache resources among atomic units globally and the balance between resolution and coverage. GraceKV requires no additional training, and the entire compression and inference process is performed on the GPU. Systematic experiments across diverse long-context tasks and compression ratios show that GraceKV ranks first in 24 of 32 settings and remains robust up to 128-fold compression. These results validate the effectiveness of global budget allocation in coordinating information coverage and local resolution.
• Abstract（参考訳）: 大きな言語モデル(LLM)が長いコンテキストを処理しているため、KVキャッシュストレージと繰り返しアクセスがボトルネックとなっている。 既存のKVキャッシュ圧縮法は、事前に定義された固定された圧縮規則に依存しており、通常はトークンの排除やマージを中心に開発されている。 その結果、キャッシュリソースはレイヤ、ヘッド、コンテキストスロットを自由に流れることができず、ローカル解像度と情報カバレッジのバランスをとるために共同で割り当てられることはない。 そこで我々は,KVキャッシュ圧縮における解像度とカバレッジの割り当てに関するグローバルなアプローチであるGraceKVを提案し,その圧縮プロセスを固定キャッシュ予算の下でのグローバルリソース割り当て問題として定式化する。 GraceKVは各層とKVのヘッドスロットの組み合わせを原子単位として扱い、プロトタイプツリーを構築する。 リーフノードはトークンレベルのKVエントリに対応し、各内部ノードは1つのプロトタイプを使用して、子供によってカバーされるKV空間を圧縮する。 木の中の重複しないノードの集合は、原子単位の表現を形成する。 新しいツリーのルートを追加することで情報カバレッジが拡大する一方、選択したノードを分割することでローカル解像度が向上する。 すべての候補アクションは、共有キャッシュ予算のために世界中で競合します。 最後に、すべての木に保持されたノードは圧縮されたKVキャッシュを形成する。 このプロセスは、グローバルな原子単位間のキャッシュリソースの割り当てと、解像度とカバレッジのバランスを適応的に決定する。 GraceKVは追加のトレーニングを必要とせず、GPU上で圧縮と推論のプロセス全体を実行する。 様々な長文タスクと圧縮比の体系的な実験は、GraceKVが32設定中24にランクインし、128倍圧縮まで頑健であることを示している。 これらの結果は,情報カバレッジと局所分解能の調整におけるグローバルな予算配分の有効性を検証した。

関連論文リスト

• HeadWiseKV: Budgeted Per-Head Cache Residency for Hybrid Long-Context Language Models [10.767250624894665]
  長文推論はデコード中にキー値(KV)キャッシュを増大させる。 このボトルネックは、残余のグローバルアテンション層がコンテキスト依存のキャッシュ需要を支配しているため、ハイブリッド言語モデルに残っています。 我々は、ハイブリッド言語モデルの残余グローバルKVキャッシュを圧縮する訓練不要のフレームワークであるHeadWiseKVを紹介する。
  論文  参考訳（メタデータ） (2026-09-02T02:59:11Z)
• SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
  SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。 本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。 128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
  論文  参考訳（メタデータ） (2026-06-30T05:18:02Z)
• RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention [20.633983983180812]
  LLMサービスのためのヘッドアウェアKVキャッシュ管理システムであるRedKnotを提案する。 RedKnotは、KVヘッドに沿ってKVキャッシュを分解することで、従来のモノリシックなKVキャッシュの抽象化を破る。
  論文  参考訳（メタデータ） (2026-06-04T14:57:07Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• VeriCache: Turning Lossy KV Cache into Lossless LLM Inference [24.571166055469508]
  私たちは、フルKV-cacheデコードと同じ出力を保証する最初の推論フレームワークであるVeriCacheを紹介します。 VeriCacheはフルKVキャッシュよりも最大4倍高いスループットを実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-17T19:18:39Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
  推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。 本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。 実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T07:52:56Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。