論文の概要: SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference
- arxiv url: http://arxiv.org/abs/2508.02751v1
- Date: Sun, 03 Aug 2025 09:15:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:55.608588
- Title: SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference
- Title（参考訳）: SmallKV: 効率的なLLM推論のためのKVキャッシュ圧縮の補正を支援する小型モデル
- Authors: Yi Zhao, Yajuan Peng, Cam-Tu Nguyen, Zuchao Li, Xiaoliang Wang, Hai Zhao, Xiaoming Fu,
- Abstract要約: SmallKVはKVキャッシュ圧縮のための小型モデル補助補償法である。
本研究では,SmallKVのスループットがベースライン法よりも1.75～2.56倍高いことを示す。
- 参考スコア（独自算出の注目度）: 71.20542521694524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: KV cache eviction has emerged as an effective solution to alleviate resource constraints faced by LLMs in long-context scenarios. However, existing token-level eviction methods often overlook two critical aspects: (1) their irreversible eviction strategy fails to adapt to dynamic attention patterns during decoding (the saliency shift problem), and (2) they treat both marginally important tokens and truly unimportant tokens equally, despite the collective significance of marginal tokens to model performance (the marginal information over-compression problem). To address these issues, we design two compensation mechanisms based on the high similarity of attention matrices between LLMs of different scales. We propose SmallKV, a small model assisted compensation method for KV cache compression. SmallKV can maintain attention matching between different-scale LLMs to: 1) assist the larger model in perceiving globally important information of attention; and 2) use the smaller model's attention scores to approximate those of marginal tokens in the larger model. Extensive experiments on benchmarks including GSM8K, BBH, MT-Bench, and LongBench demonstrate the effectiveness of SmallKV. Moreover, efficiency evaluations show that SmallKV achieves 1.75 - 2.56 times higher throughput than baseline methods, highlighting its potential for efficient and performant LLM inference in resource constrained environments.
- Abstract（参考訳）: KVキャッシュ消去は、長期コンテキストシナリオにおいてLLMが直面するリソース制約を緩和する有効なソリューションとして登場した。
しかし,既存のトークンレベルの消去手法では,(1)復号時に動的注意パターンに適応できないこと,(2)極端に重要なトークンと真に重要でないトークンの両方を同時に扱うこと,の2つの重要な側面を見落としている。
これらの問題に対処するため,異なるスケールのLCM間の注目行列の類似度に基づいて2つの補償機構を設計する。
KVキャッシュ圧縮のための小型モデル支援補償法であるSmallKVを提案する。
SmallKVは、異なるスケールのLCM間の注意マッチングを維持することができる。
1)グローバルに重要な注目情報を理解する上で,より大きなモデルを支援すること,及び
2) より小さなモデルの注意スコアを用いて, より大きなモデルの限界トークンのスコアを近似する。
GSM8K、BBH、MT-Bench、LongBenchといったベンチマークの大規模な実験は、SmallKVの有効性を実証している。
さらに,SmallKVはベースライン法よりも1.75～2.56倍のスループットを実現し,資源制約環境下でのLLM推論の効率化と性能向上の可能性が示された。
関連論文リスト
- IAM: Efficient Inference through Attention Mapping between Different-scale LLMs [74.81417160018856]
IAMフレームワークは、注意計算の高速化とKVキャッシュ使用量の削減という2つの利点を実現する。
IAMはプリフィルを15%高速化し,KVキャッシュ使用量を22.1%削減できることを示す。
論文 参考訳（メタデータ） (2025-07-16T06:39:11Z) - KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。
デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。
キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
論文 参考訳（メタデータ） (2025-07-15T12:52:12Z) - MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference [13.069489189643441]
MadaKVは、長文推論のためのモダリティ適応型キー値キャッシュ消去戦略である。
KVキャッシュメモリのフットプリントとモデル推論復号遅延を大幅に削減する。
代表的MLLMとMileBenchベンチマークの実験は、MadaKVの有効性を実証している。
論文 参考訳（メタデータ） (2025-06-06T01:51:24Z) - Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [74.74225314708225]
MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。
本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2025-02-20T18:50:42Z) - ZipVL: Efficient Large Vision-Language Models with Dynamic Token Sparsification [29.163757099307553]
大規模視覚言語モデル(LVLM)の効率は、プリフィルフェーズにおける注意機構の計算ボトルネックによって制約される。
本稿では,重要なトークンの動的比割り当て戦略を通じて,LVLM向けに設計された効率的な推論フレームワークZipVLを提案する。
論文 参考訳（メタデータ） (2024-10-11T07:24:21Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Beyond KV Caching: Shared Attention for Efficient LLMs [5.801044612920816]
本稿では,大規模言語モデル(LLM)の効率を高めるための新しい共有注意機構を提案する。
提案手法は,先進LLMにおいて観測される注意分布の等方性傾向を利用して,予測に必要な計算フロップとKVキャッシュのサイズを減少させる。
以上の結果から,SAは計算資源の保存だけでなく,頑健なモデル性能も維持し,資源制約環境におけるより効率的なLCMの展開を容易にすることが示唆された。
論文 参考訳（メタデータ） (2024-07-13T07:23:07Z) - Effectively Compress KV Heads for LLM [28.0801697946958]
キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。
提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
論文 参考訳（メタデータ） (2024-06-11T08:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。