論文の概要: EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction

• arxiv url: http://arxiv.org/abs/2610.00412v1
• Date: Wed, 30 Sep 2026 14:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.648673
• Title: EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction
• Title（参考訳）: EchoPress:仮想コンテキスト再構成によるクエリ非依存KVキャッシュプルーニング
• Abstract要約: EchoPressは、標準的なプリフィルからのクエリとキーを使用して、再構築の注意を近似する。 Qwen3-8BとLlama-3.1-8B-InstructによるLongBenchとRULERの実験は、EchoPressがKVzipと50%から90%の範囲でタスク精度で一致していることを示している。
• 参考スコア（独自算出の注目度）: 6.652914234926738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV cache pruning reduces long-context inference memory usage by evicting less important key-value pairs. KVzip estimates importance through context reconstruction: prompting a model to repeat the context chunk by chunk. This achieves strong compression quality at the cost of additional forward passes. Learned approximations reduce this cost but require model-specific training. We analyze how KVzip identifies important cached information and show how to approximate its reconstruction scores using information already computed during prefill. These findings motivate EchoPress, a training-free method that approximates reconstruction attention using queries and keys from standard prefill. For each request, it reconstructs only the first chunk to calibrate importance scores for the remaining context. Experiments on LongBench and RULER with Qwen3-8B and Llama-3.1-8B-Instruct show that EchoPress matches KVzip in task accuracy across eviction ratios from 50% to 90%, while reducing compression overhead by a factor of 1.7-19.6 and total prefill time by a factor of up to 2.9. Code is available at https://github.com/ljwljwljwljw/kvpress/tree/echo-press.
• Abstract（参考訳）: KVキャッシュプルーニングは、重要でないキーと値のペアを排除することによって、長いコンテキストの推論メモリの使用を減らす。 KVzipはコンテキスト再構成を通じて重要度を推定する。 これにより、フォワードパスの追加コストで圧縮品質が向上する。 学習した近似は、このコストを削減しますが、モデル固有のトレーニングが必要です。 我々は、KVzipが重要なキャッシュ情報をどのように識別するかを分析し、プリフィル時に既に計算された情報を用いて、その復元スコアを近似する方法を示す。 これらの発見は、標準的なプリフィルからのクエリとキーを使用して再構築注意を近似するトレーニング不要の方法であるEchoPressを動機付けている。 各リクエストに対して、残りのコンテキストで重要なスコアを調整するために、最初のチャンクのみを再構築する。 Qwen3-8BとLlama-3.1-8B-InstructによるLongBenchとRULERの実験では、EchoPressがタスク精度でKVzipと50%から90%で一致し、圧縮オーバーヘッドを1.7-19.6と最大2.9で低減した。 コードはhttps://github.com/ljwljwljljw/kvpress/tree/echo-pressで入手できる。

関連論文リスト

• ARC-KV: Amortizing Anchor Search for Reconstruction-Based KV Cache Compaction [10.459643108213085]
  長文大言語モデル推論は、列長とともに線形に成長するKVキャッシュによってボトルネックされる。 ARC-KVは, この原理に従う新しいKVキャッシュ圧縮法である。 Qualityの10%のKV保持では、ARC-KVはAttention Matchingの精度を0.6409から0.6474に改善し、圧縮時間を25.73に短縮する。
  論文  参考訳（メタデータ） (2026-09-29T06:45:33Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• FAEDKV: Infinite-Window Fourier Transform for Unbiased KV Cache Compression [18.12657364501536]
  FAEDKVは、トレーニング不要のKVキャッシュ圧縮フレームワークである。 初期の情報と最近の情報の両方を保存している。 LongBenchベンチマークの実験では、FAEDKVは既存のメソッドよりも最大22%優れていた。
  論文  参考訳（メタデータ） (2025-07-26T18:20:25Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。