論文の概要: Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM

• arxiv url: http://arxiv.org/abs/2606.29563v1
• Date: Sun, 28 Jun 2026 19:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.959874
• Title: Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM
• Title（参考訳）: LLMの効率的かつ改良された推論のためのカバレッジ駆動型KVキャッシュ推定法
• Abstract要約: 大きな言語モデル(LLM)は、質問応答や要約のような複雑なタスクに優れています。 既存のKV-cache消去戦略は、トークンのサブセットを選択的に格納するために注意の疎さを活用する。 K-VECは、キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する、新しいカバレッジ対応KV-cache消去戦略である。
• 参考スコア（独自算出の注目度）: 12.14455026524814
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) excel at complex tasks like question answering and summarization, thanks to their ability to handle long-context inputs. However, deploying LLMs is costly, not only due to the high computational demands of quadratic complexity of self-attention and auto-regressive generation, but also because of the significant memory overhead required for storing the key-value (KV) cache during inference. To reduce the memory cost, existing KV-cache eviction strategies leverage the sparsity in attention to selectively store a subset of tokens. While reducing the memory footprint, such approaches show a considerable drop in performance, especially in tasks that require long-context reasoning. We identify that the drop in performance is linked to a reduction in the coverage of unique tokens. Additionally, we theoretically show that reduced coverage limits the mutual information between inputs and outputs, thereby impairing predictive accuracy. To this end, we introduce K-VEC, a novel coverage-aware KV-cache eviction strategy that prioritizes token coverage while evicting tokens in the cache. K-VEC introduces a cross-head and a cross-layer coverage module to enhance token retention across attention heads and model layers, mitigating performance degradation caused by low coverage. Evaluated on 16 LongBench subsets, K-VEC exhibit up to 10.35 points improvement over the existing methods under the same eviction rate and memory constraint. Comprehensive evaluations validate the effectiveness of our approach and demonstrate its potential for efficient LLM deployment in resource-constrained settings.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長文入力を処理する能力のおかげで、質問応答や要約のような複雑なタスクに優れています。 しかし、LSMの展開は、自己アテンションと自己回帰生成の2次複雑さによる高い計算要求のためだけでなく、推論中にキー値(KV)キャッシュを保存するのに必要なメモリオーバーヘッドも大きいため、コストがかかる。 メモリコストを削減するため、既存のKV-cache消去戦略では、トークンのサブセットを選択的に格納するために、注意の疎さを活用する。 メモリフットプリントを削減しながら、特に長期コンテキストの推論を必要とするタスクにおいて、このようなアプローチはパフォーマンスを著しく低下させる。 性能低下はユニークなトークンのカバレッジの低下と関連している。 さらに,入力と出力の相互情報を制限することで,予測精度を損なうことを理論的に示す。 この目的のために,キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する,新しいカバレッジ対応KV-cache消去戦略であるK-VECを紹介する。 K-VECはクロスヘッドとクロス層カバレッジモジュールを導入し、アテンションヘッドとモデルレイヤ間のトークン保持を強化し、低カバレッジによるパフォーマンス劣化を軽減する。 16のLongBenchサブセットで評価され、K-VECは、同じ消去率とメモリ制約の下で、既存のメソッドよりも最大10.35ポイント改善されている。 本手法の有効性を総合評価し,資源制約条件下でのLLMの効率的な展開の可能性を示す。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs [26.951325519894525]
  本稿では,軽量保持ゲートを介して各トークンの創出時の本質的な重要性を学習する手法を提案する。 我々は,特に低メモリ環境において,強い信念と学習可能な検索ベースラインを一貫して上回ることを示す。 一部の設定ではフルキャッシュモデルを超えており、選択的な保持が正規化の一形態として機能することを示している。
  論文  参考訳（メタデータ） (2025-12-03T00:20:35Z)
• OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference [11.315090790312041]
  本稿では,キャッシュ消去を階層的に構造化したプルーニング問題として定式化するフレームワークを提案する。 プルーニングトークンによって誘導される注意出力の摂動を、孤立鍵、孤立値、結合鍵-値対に導かれる閉形式スコアを用いて測定する。 我々のスコアは、注意重みだけでなく、価値状態や注意出力からの情報も考慮し、既存の逸脱戦略を出力対応信号で強化する。
  論文  参考訳（メタデータ） (2025-10-09T00:58:28Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference [11.73134417321505]
  本稿では,LVLM推論の高速化を目的とした新しいKVキャッシュ圧縮手法であるAirCacheを提案する。 本手法は,視覚的KVキャッシュの10%を保ちながら,フルキャッシュに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-03-31T11:13:18Z)
• In-context KV-Cache Eviction for LLMs via Attention-Gate [12.732519329131392]
  KVキャッシュ技術は、大規模言語モデル(LLM)の推論の標準となっている。 本稿では,Attention-Gateと呼ばれる軽量モジュールをモデルに注入することで,KVキャッシュの動的な消去ポリシーを実現する。 提案手法は複数のシナリオにまたがって実験的に評価され,冗長トークンの有効排除は効率を向上するだけでなく,性能も向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T05:01:19Z)
• ZipVL: Efficient Large Vision-Language Models with Dynamic Token Sparsification [29.163757099307553]
  大規模視覚言語モデル(LVLM)の効率は、プリフィルフェーズにおける注意機構の計算ボトルネックによって制約される。 本稿では,重要なトークンの動的比割り当て戦略を通じて,LVLM向けに設計された効率的な推論フレームワークZipVLを提案する。
  論文  参考訳（メタデータ） (2024-10-11T07:24:21Z)
• NACL: A General and Effective KV Cache Eviction Framework for LLMs at Inference Time [44.89402186438295]
  大規模言語モデル(LLM)は、AIアプリケーションの革新的な急増に火をつけ、拡張されたコンテキストウィンドウを備えたエキサイティングな可能性の新たな時代を告げた。 しかし、これらのモデルのホスティングは、主に長期のコンテキストモデリングを含むKVキャッシュの広範なメモリ消費のため、コストを抑えることができる。 我々は,符号化フェーズにおける単一操作において,より最適かつ効率的な消去を実現する,長文KVキャッシュ消去のための一般的なフレームワークであるNACLを提案する。
  論文  参考訳（メタデータ） (2024-08-07T10:31:07Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。