論文の概要: Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression

• arxiv url: http://arxiv.org/abs/2603.20616v1
• Date: Sat, 21 Mar 2026 03:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.996726
• Title: Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
• Title（参考訳）: Token Eviction: 効率的なKVキャッシュ圧縮のための混合次元予算配分
• Abstract要約: キー値キャッシュ(KV)はトランスフォーマー推論の高速化に広く用いられているが、メモリコストは入力長とともに線形に増加する。 より粒度の細かいトークンに次元を割り当てる混合次元KVキャッシュ圧縮法であるMixedDimKVを提案する。 私たちのソリューションは、キャッシュの0.26%をわずかに使用しながら、50Kのコンテキスト長で100%の精度を維持します。
• 参考スコア（独自算出の注目度）: 16.495900730787955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Key-value (KV) caching is widely used to accelerate transformer inference, but its memory cost grows linearly with input length, limiting long-context deployment. Existing token eviction methods reduce memory by discarding less important tokens, which can be viewed as a coarse form of dimensionality reduction that assigns each token either zero or full dimension. We propose MixedDimKV, a mixed-dimension KV cache compression method that allocates dimensions to tokens at a more granular level, and MixedDimKV-H, which further integrates head-level importance information. Experiments on long-context benchmarks show that MixedDimKV outperforms prior KV cache compression methods that do not rely on head-level importance profiling. When equipped with the same head-level importance information, MixedDimKV-H consistently outperforms HeadKV. Notably, our approach achieves comparable performance to full attention on LongBench with only 6.25% of the KV cache. Furthermore, in the Needle-in-a-Haystack test, our solution maintains 100% accuracy at a 50K context length while using as little as 0.26% of the cache.
• Abstract（参考訳）: キーバリューキャッシュ(KV)は、トランスフォーマー推論の高速化に広く用いられているが、メモリコストは入力長とともに線形に増加し、長文展開が制限される。 既存のトークン消去法は、重要でないトークンを捨てることでメモリを減少させるが、これは、各トークンをゼロ次元またはフル次元に割り当てる粗い次元縮小形式と見なすことができる。 我々は、より粒度の細かいトークンに次元を割り当てる混合次元KVキャッシュ圧縮法であるMixedDimKVと、さらにヘッドレベルの重要情報を統合するMixedDimKV-Hを提案する。 長文ベンチマークの実験では、MixedDimKVは、ヘッドレベルの重要度プロファイリングに依存しないKVキャッシュ圧縮手法よりも優れていた。 同じヘッドレベルの重要情報を備えている場合、MixedDimKV-Hは一貫してHeadKVを上回っている。 特に、我々の手法はKVキャッシュの6.25%しか持たないLongBenchに対して、同等のパフォーマンスを実現している。 さらに,Needle-in-a-Haystackテストでは,最大0.26%のキャッシュを使用しながら,50Kコンテキスト長で100%の精度を維持した。

関連論文リスト

• SGD-KV: Summarization Guided KV Cache Compression [21.816110519918876]
  大規模言語モデル(LLM)は、線形に増大するキー値(KV)キャッシュのため、長いコンテキスト推論において深刻なメモリボトルネックに直面している。 SGD-KVは,階層的情報集約に特有な注意ヘッドを体系的に識別し,優先するために,新しいチャンク要約診断タスクを活用する,頭部認識フレームワークである。 以上の結果から,KVキャッシュ予算を注目ヘッドの総和スコア分布に基づいて戦略的に割り当てることにより,長文推論における効率・精度のトレードオフが良好であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-03T00:31:11Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding [6.5805487988920355]
  HiKVは階層的な重要度認識を通じてKVキャッシュ冗長性を利用する。 我々は、再構成可能な重要度ソータを中心とした専用アクセラレーターを開発する。 HiKVは最大7.95倍のスピードアップと90%のエネルギー削減を実現している。
  論文  参考訳（メタデータ） (2026-07-24T15:15:10Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。