論文の概要: The KV-Surgeon: Compensation-Aware Offline KV-Cache Compaction

• arxiv url: http://arxiv.org/abs/2610.25933v1
• Date: Mon, 19 Oct 2026 07:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:32:39.503574
• Title: The KV-Surgeon: Compensation-Aware Offline KV-Cache Compaction
• Title（参考訳）: KV-Surgeon:補償対応のオフラインKVキャッシュ圧縮
• Abstract要約: KV-Surgeonは、キャリブレーションデータを用いて、トラクタブルな方法でインタラクションを考慮に入れます。 KV-Surgeonは50ドル(約5万5000円)で、注意マッチングで最大4ポイントの質問応答精度を向上します。
• 参考スコア（独自算出の注目度）: 23.87950717135044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline compaction of the key--value cache (KV-cache) reduces the cost of repeatedly querying a fixed context by constructing a smaller cache once and reusing it subsequently. The central challenge of compaction is deciding which cache entries to delete and which to retain. Existing methods score each candidate for deletion on its own, with the rest of the cache being held fixed. However, softmax renormalization of the attention operation couples these decisions in a nonlinear manner: removing one entry changes the attention weights of every remaining one. In this work, we introduce KV-Surgeon, which uses calibration data to take interactions into account in a tractable way. We derive a quadratic surrogate that admits closed-form expressions for jointly making the optimal greedy removal decision as well as compensation within the remaining entries. On QuALITY, LongHealth, and Long Code Arena, and at every evaluated compaction ratio, KV-Surgeon substantially advances the cost--accuracy Pareto frontier of dense and mixture-of-experts models from 4B to 30B parameters. At $50\times$ compaction, KV-Surgeon improves question-answering accuracy by up to four points over attention matching (Zweiger et al., 2026), the state of the art, at comparable cost. Lastly, we introduce an even faster variant, which also exceeds the state of the art while requiring only two fifths of its cost.
• Abstract（参考訳）: キーバリューキャッシュ(KV-cache)のオフライン圧縮は、より小さなキャッシュを構築して再利用することで、固定されたコンテキストを何度もクエリするコストを低減させる。 圧縮の主な課題は、削除するキャッシュエントリと保持するキャッシュエントリを決定することだ。 既存のメソッドは、削除の候補を自身でスコアし、残りのキャッシュは固定されている。 しかし、注意操作のソフトマックス再正規化は、これらの決定を非線形に結合する。 そこで本研究では,キャリブレーションデータを用いてインタラクションをトラクタブルな方法で考慮するKV-Surgeonを紹介する。 最適グリーディ除去決定を共同で行うためのクローズドフォーム表現と、残りのエントリ内の補償を許容する二次代名詞を導出する。 Quality、LongHealth、Long Code Arena、および評価された圧縮比において、KV-Surgeonは4Bから30Bパラメータの高密度および混合専門家モデルのコスト-正確パレートフロンティアを著しく前進させる。 50\times$ compactionのKV-Surgeonは、注目マッチング(Zweiger et al , 2026)よりも最大4ポイントの質問応答精度を同等のコストで向上させる。 最後に、コストの5分の2しか必要とせず、最先端技術を上回る、より高速なバリエーションを導入します。

関連論文リスト

• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction [10.668136973950453]
  KVキャッシュ消去はコンテキストを一度圧縮し、結果のキャッシュを任意の将来のクエリに再利用するが、パフォーマンスは厳しい予算の下で崩壊する可能性がある。 本稿では,この選択に基づく定式化を補完するRestoreKVを紹介する。 我々の重要な洞察は、排除によって失った情報は文脈固有であるが、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるということである。
  論文  参考訳（メタデータ） (2026-08-02T13:58:42Z)
• S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching [38.29032214906932]
  S$4$Rを提案し、選択されたサンプルトークンから低ランクな部分空間を構築し、わずかに再構成されたKV表現に注意を向ける。 LlamaとQwenモデルファミリを用いたLongBenchとRULERの実験では、S$4$Rが最大5$times$KV圧縮をほぼフルキャッシュ精度で達成している。
  論文  参考訳（メタデータ） (2026-08-01T08:41:29Z)
• ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression [25.24197102648478]
  KVキャッシュ圧縮は、効率的な長文推論に不可欠である。 マージベースの代替手段は、より多くの情報を保持するが、正確に保持すべきキーと値を摂動することができる。 本稿では,固定KV予算を正確な主キャッシュとコンパクトな残留キャッシュに分割するResKVを提案する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:45Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KVSculpt: KV Cache Compression as Distillation [7.085426079187912]
  KVキャッシュ圧縮は、効率的なLLM推論に重要である。 既存のメソッドは、純粋な消去 -- どのKVペアを保持するかを選択する -- から、類似のペアをより少ないものに組み合わせたマージまで、さまざまです。 我々は、このスペクトルの反対側に移動するKVSculptを提案する。 鍵はL-BFGSで最適化され、最小二乗で閉形式で解かれる。
  論文  参考訳（メタデータ） (2026-03-29T19:14:25Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。