論文の概要: KV$^2$: A Self-Refining KV Cache

• arxiv url: http://arxiv.org/abs/2610.03198v1
• Date: Fri, 02 Oct 2026 12:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.359195
• Title: KV$^2$: A Self-Refining KV Cache
• Title（参考訳）: KV$^2$: 自己精錬KVキャッシュ
• Abstract要約: 本稿では,クエリに依存しないKV-cache圧縮手法であるKV$2$を紹介する。 KV$2$は、まず軽量プロキシスコアラを使用して情報的インコンテキストトークンを識別し、次にこのサブセットのみを再処理して最終的な消去スコアを計算する。
• 参考スコア（独自算出の注目度）: 21.448796705555484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The memory footprint of the key-value (KV) cache constrains the practical use of long-context models, and it dominates cost when one prefilled context must later serve many different queries. In this reusable setting, query-agnostic compression trades cost against quality: lightweight estimators are cheap but less accurate, whereas full-context reconstruction scoring is more accurate yet reprocesses the entire prompt. We introduce KV$^2$, a query-agnostic KV-cache compression method based on selective reconstruction. KV$^2$ first uses a lightweight proxy scorer to identify informative in-context tokens, then reprocesses only this subset to compute final eviction scores. On RULER, Needle-in-a-Haystack, and LongBench, KV$^2$'s margin over baselines widens as the budget tightens: on RULER 16K at a 2% KV-cache budget it improves the average score over the next-best baseline by more than 40 percentage points, and on LongBench it attains the highest average across 2%-10% budgets at lower compression-stage runtime and peak memory than full-context reconstruction. Reusable KV-cache compression thus does not require reprocessing the full context. Our code is available at https://anonymous.4open.science/r/KVsquared-0B97.
• Abstract（参考訳）: キー値(KV)キャッシュのメモリフットプリントは、ロングコンテキストモデルの実用的使用を制限し、1つのプレフィルされたコンテキストが後に多くの異なるクエリを提供する必要がある場合にコストを抑える。 この再利用可能な設定では、クエリ非依存の圧縮圧縮は品質に対してコストがかかる:軽量な推定器は安価だが精度は低いが、フルコンテキストの再構成スコアはより正確だが、全てのプロンプトを再処理する。 KV$^2$は、選択的再構成に基づくクエリに依存しないKV-cache圧縮手法である。 KV$^2$は、まず軽量プロキシスコアラを使用して情報的インコンテキストトークンを識別し、次にこのサブセットのみを再処理して最終的な消去スコアを計算する。 RULER 16Kの2% KV-cache予算では、次の最下位のベースラインの平均スコアを40ポイント以上改善し、LongBenchでは、圧縮ステージ実行時の2%から10%の予算で最高値に達し、フルコンテキストの再構築よりもピークメモリとなる。 したがって、再利用可能なKV-cache圧縮は、完全なコンテキストを再処理する必要がなくなる。 私たちのコードはhttps://anonymous.4open.science/r/KVsquared-0B97で公開されています。

関連論文リスト

• RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction [10.668136973950453]
  KVキャッシュ消去はコンテキストを一度圧縮し、結果のキャッシュを任意の将来のクエリに再利用するが、パフォーマンスは厳しい予算の下で崩壊する可能性がある。 本稿では,この選択に基づく定式化を補完するRestoreKVを紹介する。 我々の重要な洞察は、排除によって失った情報は文脈固有であるが、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるということである。
  論文  参考訳（メタデータ） (2026-08-02T13:58:42Z)
• S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching [38.29032214906932]
  S$4$Rを提案し、選択されたサンプルトークンから低ランクな部分空間を構築し、わずかに再構成されたKV表現に注意を向ける。 LlamaとQwenモデルファミリを用いたLongBenchとRULERの実験では、S$4$Rが最大5$times$KV圧縮をほぼフルキャッシュ精度で達成している。
  論文  参考訳（メタデータ） (2026-08-01T08:41:29Z)
• C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference [31.428047145437773]
  長文推論は、検索拡張生成やマルチドキュメント推論といった現代の大規模言語モデル(LLM)アプリケーションの中心である。 推論コストの増大を軽減するため、最近の研究では、余分なプリフィル計算を減らすためにキー値(KV)キャッシュの再利用を検討した。 既存の再利用手法は主に保存に重点を置いており、KVキャッシュの保存とアクセスのコストという長期的サービスにおける重要なボトルネックを見落としている。
  論文  参考訳（メタデータ） (2026-07-20T09:09:23Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。