論文の概要: ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
- arxiv url: http://arxiv.org/abs/2609.06663v1
- Date: Sun, 06 Sep 2026 15:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.291967
- Title: ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
- Title（参考訳）: ECOKV: 相補的多様性メトリックによる幾何学的KVキャッシュ推定
- Abstract要約: マルチモーダル大規模言語モデル(MLLM)は様々なタスクに優れていますが、そのスケーラビリティはKVキャッシュストレージのメモリと計算オーバーヘッドによって制限されています。
最近のKVキャッシュ消去アプローチでは、キーと値のペアを選択的に保持するために重要なメトリクスを持つコサイン類似性に基づく多様性指標が組み込まれている。
本稿では, ユークリッド距離とコサイン類似性を併用して, 相補的な視点からトークンの多様性を捉えた幾何学的複合計量を提案する。
- 参考スコア（独自算出の注目度）: 15.835203260282746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although multimodal Large Language Models (MLLMs) excel in diverse tasks, their scalability remains limited by the memory and computational overhead of KV cache storage. Recent KV cache eviction approaches incorporate a cosine similarity-based diversity metric with importance metrics to selectively retain critical key-value pairs. However, cosine similarity involves normalization that discards magnitude information, and it often yields uniformly high similarity values across layers due to the anisotropy property of hidden representations. In our study ECOKV, we rigorously deconstruct the capabilities of existing diversity metrics. Moving beyond simple measurement, we propose a geometry-aware composite metric that jointly leverages Euclidean distance and cosine similarity to capture token diversity from complementary perspectives. Furthermore, we use these two metrics to estimate the redundancy level of each attention head, allowing adaptive weighting between diversity and importance scores during token selection. Finally, we demonstrate that the observation window commonly employed to preserve recent tokens can be substantially reduced, thereby allocating more cache capacity to informative tokens and yielding consistent improvements. Extensive experiments demonstrate that ECOKV achieves state-of-the-art performance under various compression ratios and can be seamlessly integrated with existing KV cache eviction methods. We further analyze the relationship between importance and diversity, and examine redundancy patterns across layers and attention heads.
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は多様なタスクに優れるが、そのスケーラビリティはKVキャッシュストレージのメモリと計算オーバーヘッドによって制限されている。
最近のKVキャッシュ消去アプローチでは、重要なキーと値のペアを選択的に保持するために重要なメトリクスを持つコサイン類似性に基づく多様性指標が組み込まれている。
しかし、コサイン類似性は大きさ情報を捨てる正規化を伴い、隠された表現の異方性の性質のために層間で一様に高い類似性値が得られる。
本研究のECOKVでは,既存の多様性指標の能力を徹底的に分解する。
単純な測定を超えて、ユークリッド距離とコサイン類似性を併用して、相補的な視点からトークンの多様性を捉える幾何学的複合計量を提案する。
さらに、これらの2つの指標を用いて、各注目ヘッドの冗長度を推定し、トークン選択時の多様性と重要度の間の適応重み付けを可能にする。
最後に、最近のトークンを保存するために一般的に使用される観測ウィンドウは大幅に削減され、より多くのキャッシュ容量が情報化トークンに割り当てられ、一貫した改善がもたらされることを示す。
大規模な実験により、ECOKVは様々な圧縮比で最先端の性能を達成し、既存のKVキャッシュ消去手法とシームレスに統合できることが示されている。
さらに,重要度と多様性の関係を解析し,レイヤー間の冗長性パターンと注目ヘッドについて検討する。
関連論文リスト
- CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - Centering before Pruning: Lightweight Geometry Correction for Diversity-Based Visual Token Pruning in LVLMs [7.371189496638082]
生の視覚トークン間の類似性は、正の範囲に強く集中しており、非冗長トークンを識別する能力を制限する。
中心コサイン類似度を用いてサブセットの多様性を測定するtextbfCentered Geometry textbfPruner (Cen-Prune)を提案する。
Cen-Pruneは、既存の多様性ベースのプルーナー全体のパフォーマンスを堅牢に改善する。
論文 参考訳（メタデータ） (2026-08-31T05:13:29Z) - DivRL: Disentangled Self-Similarity Rewards for Diverse Subject-Driven Generation [52.23323703015865]
本研究では,アイデンティティの整合性と構造的多様性を同時に最適化するDivRLというポストトレーニングフレームワークを提案する。
構造的多様性を定量化するための負の自己相似性尺度(nSSM)と、アイデンティティの整合性を評価するための視覚的セマンティックマッチング(VSM)を導入する。
論文 参考訳（メタデータ） (2026-06-22T21:22:42Z) - Multi-label Classification with Panoptic Context Aggregation Networks [61.82285737410154]
本稿では,多次幾何学的文脈を階層的に統合する新しいアプローチであるDeep Panoptic Context Aggregation Network(PanCAN)を紹介する。
PanCANは、ランダムウォークとアテンションメカニズムを組み合わせることで、各スケールで複数階の近傍関係を学習する。
NUS-WIDE、PASCAL VOC、2007、MS-COCOベンチマークの実験は、PanCANが一貫して競争結果を達成することを示した。
論文 参考訳（メタデータ） (2025-12-29T14:16:21Z) - CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。
提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-08-22T06:55:45Z) - Homogeneous Keys, Heterogeneous Values: Exploiting Local KV Cache Asymmetry for Long-Context LLMs [28.554617623874176]
我々は、KVキャッシュにおいて、基本的かつ以前見過ごされた非対称性を示す。
キー値の非対称性は、既存の圧縮法に限界があることを示している。
均質性に基づく鍵マージと数学的に証明されたロスレス値圧縮を併用したトレーニングフリー圧縮フレームワーク(AsymKV)を提案する。
論文 参考訳（メタデータ） (2025-06-04T16:10:44Z) - More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。
KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。
本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
論文 参考訳（メタデータ） (2024-12-17T09:20:31Z) - IME: Integrating Multi-curvature Shared and Specific Embedding for Temporal Knowledge Graph Completion [97.58125811599383]
時間的知識グラフ(TKG)は時間次元を取り入れており、知識の進化を正確に捉えることができる。
本稿では,TKGCタスクのための新しい多曲率共有固有埋め込み(IME)モデルを提案する。
IMEは2つの重要な性質、すなわち空間共有性と空間固有性を含んでいる。
論文 参考訳（メタデータ） (2024-03-28T23:31:25Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳（メタデータ） (2020-11-26T15:43:27Z) - Learning Flat Latent Manifolds with VAEs [16.725880610265378]
本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。
我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。
提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
論文 参考訳（メタデータ） (2020-02-12T09:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。