論文の概要: AnchorKV: Anchor-Residual KV Cache Compression

• arxiv url: http://arxiv.org/abs/2608.02901v1
• Date: Mon, 03 Aug 2026 21:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.95069
• Title: AnchorKV: Anchor-Residual KV Cache Compression
• Title（参考訳）: AnchorKV: Anchor-Residual KVキャッシュ圧縮
• Abstract要約: 本稿では,AnchorKVを提案する。AnchorKVは,単一のトークンを捨てることなく,キャッシュを20倍に縮小する圧縮スキームである。 AnchorKVは、モデルとデータセット間の精度を一貫して維持し、70Bスケールでのフルキャッシュスコアの99%を保持します。
• 参考スコア（独自算出の注目度）: 11.048086031066623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key-value (KV) cache is the primary memory bottleneck in long-context LLM inference. Existing approaches attack it from opposite ends: eviction methods permanently discard tokens, degrading performance whenever a discarded token later proves essential, while quantization methods retain all tokens at low precision but offer limited compression. We propose AnchorKV, a compression scheme that shrinks the cache by $20\times$ without discarding a single token. AnchorKV represents the cache using a small set of anchors stored exactly, expresses every other token through its most similar anchor, and refines only those whose approximation most affects the model's output. AnchorKV consistently preserves accuracy across models and datasets, retaining 99% of the full-cache score at the 70B scale, while keeping the entire context at a fraction of its cost.
• Abstract（参考訳）: キー値(KV)キャッシュは、長文LLM推論における主要なメモリボトルネックである。 既存のアプローチでは、トークンを恒久的に破棄し、後に破棄されたトークンが必須であることが証明されるたびに性能を低下させ、量子化メソッドはすべてのトークンを低い精度で保持するが、制限された圧縮を提供する。 本稿では,AnchorKVを提案する。AnchorKVは1つのトークンを破棄することなく,キャッシュを20\times$に縮小する圧縮スキームである。 AnchorKVは、正確に格納された小さなアンカーセットを使用してキャッシュを表現し、最もよく似たアンカーを通して他のすべてのトークンを表現し、近似がモデルの出力に最も影響を与えるもののみを洗練する。 AnchorKVは、モデルとデータセット間の精度を一貫して維持し、70Bスケールでのフルキャッシュスコアの99%を保持しながら、コンテキスト全体のコストをわずかに維持する。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor [20.7510970936151]
  大規模言語モデル(LLM)は、生成的推論や長いコンテキストタスクにおいて、以前のアーキテクチャよりも優れている。 その大きなサイズは、メモリ使用量、エネルギーコスト、デバイス上のデプロイメントにおいて大きな課題をもたらします。 有害なプロンプトに関連するキー空間の方向からトークン保持スコアをバイアスする,KVキャッシュ圧縮のドロップイン修正であるAnchorKVを提案する。
  論文  参考訳（メタデータ） (2026-06-16T12:43:18Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression [16.495900730787955]
  キー値キャッシュ(KV)はトランスフォーマー推論の高速化に広く用いられているが、メモリコストは入力長とともに線形に増加する。 より粒度の細かいトークンに次元を割り当てる混合次元KVキャッシュ圧縮法であるMixedDimKVを提案する。 私たちのソリューションは、キャッシュの0.26%をわずかに使用しながら、50Kのコンテキスト長で100%の精度を維持します。
  論文  参考訳（メタデータ） (2026-03-21T03:21:43Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• ZipCache: Accurate and Efficient KV Cache Quantization with Salient Token Identification [19.985314022860432]
  KVキャッシュは、再計算を避けるために、以前のトークンからキーと値の状態を格納する。 KVキャッシュ圧縮はトークンの正当性を識別し、重要でないトークンを積極的に圧縮しながら重要な情報を保存する。 LLMの高精度かつ効率的なKVキャッシュ量子化手法ZipCacheを提案する。
  論文  参考訳（メタデータ） (2024-05-23T07:37:16Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。