論文の概要: TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.15569v1
- Date: Wed, 11 Nov 2026 14:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.173207
- Title: TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models
- Title(参考訳): TraceKV:Reasoning Vision-Language Modelのためのポリシー保存低ランクKVキャッシュ圧縮
- Abstract要約: 本稿では,単一ポリシ保存原則の下で,オンラインキャリブレーション,センシティブなSVD,グローバルなランクアロケーションを統一する,トレーニングフリーな低ランクKV圧縮フレームワークを提案する。
TraceKVは量子化と組み合わせると5.64$times$KVキャッシュ圧縮により、ほぼロスレスな推論精度を実現する。
- 参考スコア(独自算出の注目度): 8.84779500697908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning vision-language models (VLMs) impose substantial KV cache demands from both large multimodal contexts and growing reasoning traces. Low-rank KV compression has emerged as a promising paradigm that stores low-dimensional latents of KV states and can be combined with quantization. However, existing low-rank methods often induce growing predictive policy drift from the dense model when compressing reasoning KV states, resulting in reasoning failures. We identify two key causes of this degradation: calibration-state mismatch between static contexts and on-policy reasoning states, and unequal error sensitivity across KV states. To address these challenges, we propose TraceKV, a training-free low-rank KV compression framework that unifies on-policy calibration, sensitivity-aware SVD, and global rank allocation under a single policy-preserving principle, substantially reducing policy-KL divergence during reasoning. Experiments across multiple VLMs and visual reasoning benchmarks demonstrate superior accuracy--memory trade-offs, achieving near-lossless reasoning accuracy with 5.64$\times$ KV cache compression when combined with quantization. Optimized low-rank attention kernels further deliver up to 1.83$\times$ end-to-end decoding speedup. Code will be available at https://github.com/AK-DREAM/TraceKV.
- Abstract(参考訳): VLM(Reasoning Vision-Language Model)は、大規模なマルチモーダルコンテキストと増大する推論トレースの両方から、かなりのKVキャッシュ要求を課す。
低ランクKV圧縮は、KV状態の低次元潜在状態を記憶し、量子化と組み合わせることができる有望なパラダイムとして登場した。
しかしながら、既存の低ランク法は、KV状態の圧縮時に高密度モデルから増大する予測的ポリシードリフトを誘導し、推論失敗を引き起こす。
この劣化の2つの主要な原因は、静的な文脈と政治上の推論状態のキャリブレーション状態のミスマッチと、KV状態間の不平等なエラー感度である。
これらの課題に対処するために、TraceKVを提案する。これは、オンラインのキャリブレーション、敏感なSVD、グローバルなランク割り当てを単一のポリシー保存原則の下で統一し、推論中のポリシー-KLのばらつきを大幅に低減する、トレーニングフリーの低ランクKV圧縮フレームワークである。
複数のVLMと視覚的推論ベンチマークを用いた実験では、量子化と組み合わせると5.64$\times$ KVのキャッシュ圧縮でほぼ無作為な推論精度が得られる。
最適化された低ランクアテンションカーネルは、さらに1.83$\times$ end-to-endデコードスピードアップを提供する。
コードはhttps://github.com/AK-DREAM/TraceKVで入手できる。
関連論文リスト
- STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control [8.78945073362251]
STAR-KVは、微粒なランク制御を備えた適応型低ランクKVキャッシュ圧縮フレームワークである。
複数のLSMとベンチマークで評価した。
カスタムのトリトンベースのGPUカーネルによって実現されているSTAR-KVは、アテンションモジュールの最大6.9倍のスピードアップと3.1倍のエンドツーエンド生成スループットを提供する。
論文 参考訳(メタデータ) (2026-06-07T00:24:02Z) - Training Transformers for KV Cache Compressibility [41.06560761854043]
KV圧縮性は文脈のみでなく,学習した表現の特性であることを示す。
そこで本研究では,圧縮可能な表現の出現を動機づける,継続した事前訓練手順であるKV-Compression Aware Training (KV-CAT)を提案する。
論文 参考訳(メタデータ) (2026-05-07T10:17:55Z) - OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。
OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。
オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
論文 参考訳(メタデータ) (2025-09-25T21:42:27Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳(メタデータ) (2025-05-30T08:49:27Z) - KeepKV: Eliminating Output Perturbation in KV Cache Compression for Efficient LLMs Inference [16.53643930310808]
KeepKVは、厳しいメモリ制約下で性能を保ちながら出力摂動を排除するために設計された、新しい適応KVキャッシュマージ手法である。
KeepKVはメモリ使用量を大幅に削減し、推論スループットを2倍以上に向上し、10%のKVキャッシュ予算でも優れた生成品質を維持している。
論文 参考訳(メタデータ) (2025-04-14T06:58:00Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳(メタデータ) (2025-02-24T06:33:39Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳(メタデータ) (2024-10-04T03:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。