論文の概要: STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control

• arxiv url: http://arxiv.org/abs/2606.08382v1
• Date: Sun, 07 Jun 2026 00:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.075584
• Title: STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control
• Title（参考訳）: STAR-KV:適応ランク制御のためのソフトThresholdingによる低ランクKVキャッシュ圧縮
• Authors: Priyansh Bhatnagar, Ashkan Moradifirouzabadi, Se-Hyun Yang, SeungJae Lee, Jungwook Choi, Mingu Kang,
• Abstract要約: STAR-KVは、微粒なランク制御を備えた適応型低ランクKVキャッシュ圧縮フレームワークである。 複数のLSMとベンチマークで評価した。 カスタムのトリトンベースのGPUカーネルによって実現されているSTAR-KVは、アテンションモジュールの最大6.9倍のスピードアップと3.1倍のエンドツーエンド生成スループットを提供する。
• 参考スコア（独自算出の注目度）: 8.78945073362251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank projection has emerged as a promising approach for compressing the KV cache by exploiting hidden-dimension redundancy. However, prior methods rely on fixed or heuristic rank selection and struggle to achieve aggressive compression with minimal accuracy degradation. We propose STAR-KV, an adaptive low-rank KV cache compression framework with fine-grained rank control. STAR-KV encompasses 1) a differentiable thresholding mechanism that enables optimal rank selection at both attention-head and block levels, 2) a hybrid decomposition strategy that applies different low-rank factorizations according to the sensitivity of key and value projections, and 3) a low-rank-aware mixed precision quantization that leverages data statistics for near lossless low-bit quantization. Evaluated across multiple LLMs and benchmarks, STAR-KV achieves up to 75% KV cache compression and up to 20x overall KV cache reduction when combined with quantization. Enabled by custom Triton-based GPU kernels, STAR-KV delivers up to 6.9x speedup for the attention module and 3.1x end-to-end generation throughput. Our code is publicly available at: https://github.com/PriyanshBhatnagar/STAR-KV.
• Abstract（参考訳）: 低ランクプロジェクションは、隠れ次元の冗長性を利用してKVキャッシュを圧縮するための有望なアプローチとして現れている。 しかし、従来の手法は固定的あるいはヒューリスティックなランク選択に依存しており、最小限の精度で攻撃的な圧縮を達成するのに苦労している。 微粒なランク制御を備えた適応型低ランクKVキャッシュ圧縮フレームワークSTAR-KVを提案する。 STAR-KVは包含する 1)注目レベルとブロックレベルの両方において最適なランク選択を可能にする識別可能なしきい値設定機構。 2キーと値の投射の感度に応じて異なる低ランクの分解を施すハイブリッド分解戦略及び 3) ほぼ損失のない低ビット量子化のためのデータ統計を利用する低ランク対応混合精度量子化。 複数のLLMとベンチマークで評価され、STAR-KVは最大75%のKVキャッシュ圧縮と、量子化と組み合わせて最大20倍のKVキャッシュ削減を達成する。 カスタムのトリトンベースのGPUカーネルによって実現されているSTAR-KVは、アテンションモジュールの最大6.9倍のスピードアップと3.1倍のエンドツーエンド生成スループットを提供する。 私たちのコードは、https://github.com/PriyanshBhatnagar/STAR-KV.comで公開されています。

関連論文リスト

• KVSculpt: KV Cache Compression as Distillation [7.085426079187912]
  KVキャッシュ圧縮は、効率的なLLM推論に重要である。 既存のメソッドは、純粋な消去 -- どのKVペアを保持するかを選択する -- から、類似のペアをより少ないものに組み合わせたマージまで、さまざまです。 我々は、このスペクトルの反対側に移動するKVSculptを提案する。 鍵はL-BFGSで最適化され、最小二乗で閉形式で解かれる。
  論文  参考訳（メタデータ） (2026-03-29T19:14:25Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
  そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。 本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。 Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
  論文  参考訳（メタデータ） (2024-09-30T19:09:13Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。