論文の概要: KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation

• arxiv url: http://arxiv.org/abs/2609.24298v1
• Date: Mon, 21 Sep 2026 08:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.227052
• Title: KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
• Title（参考訳）: KV-COBRA: 同時最適化ビット列割り当てによるKVキャッシュ圧縮
• Abstract要約: 我々は,頭部当たりのランクとビット幅の同時最適化が均一な割り当てを支配していることを示す。 KV-COBRAはこの問題を資源配分問題として定式化している。 低ビットレートで評価された手法の中で最小の精度劣化を示す。
• 参考スコア（独自算出の注目度）: 15.274455245890769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What limits KV-cache compression at extreme bit-rates? We argue that it is not the choice of compression scheme, but how its budget is allocated across attention heads. Existing methods apply rank and bit-width uniformly, ignoring that each head has a different optimal mix of rank truncation and quantization. We show that co-optimizing rank and bit-width per head, using only standard low-rank projection and scalar quantization, dominates uniform allocation, with the largest gains at low bit-rates. Our method, KV-COBRA (Co-Optimized Bit-Rank Allocation), formalizes this as a resource-allocation problem: it balances rank-truncation loss against quantization loss within each head, then redistributes budget across heads to minimize total distortion. A fused Hadamard rotation equalizes per-channel variance, and reordering the SVD basis by attention-KL importance makes the solver query-aware. The same allocator extends to joint $K{+}V$ compression. On perplexity, zero-shot, and long-context benchmarks from $0.5$ to $4$ bits per dimension (bpd), KV-COBRA shows the smallest accuracy degradation among evaluated methods at low bpd, with no per-token overhead.
• Abstract（参考訳）: 極端ビットレートでのKV-cache圧縮には何の制限があるか? 我々は、圧縮スキームの選択ではなく、その予算がどのように注意を向けるかを論じる。 既存の手法はランクとビット幅を均一に適用し、それぞれのヘッドがランク切り込みと量子化の最適な混合を持っていることを無視する。 我々は,標準の低ランク投影とスカラー量子化のみを用いて,頭部当たりのランクとビット幅の同時最適化が,ビットレートで最大のゲインを持つ均一なアロケーションを支配していることを示す。 我々の手法であるKV-COBRA(Co-Optimized Bit-Rank Allocation)は、この問題をリソース割り当て問題として定式化している。 融合したアダマール回転はチャネルごとのばらつきを等しくし、注意KLの重要性によってSVDベースを再順序付けすることで、解解器の問合せを意識する。 同じアロケータが$K{+}V$圧縮に拡張される。 1次元あたり0.5ドルから4ドル(bpd)のパープレキシティ、ゼロショット、ロングコンテクストのベンチマークでは、KV-COBRAは低いbpdで評価された手法の中で最小の精度の劣化を示す。

関連論文リスト

• ReasonAlloc: Hierarchical Decoding-Time KV Cache Budget Allocation for Reasoning Models [51.947287846779545]
  ReasonAllocはデコード時のKV圧縮を階層的な予算配分問題として再キャストする。 オフラインのレイヤ単位の事前配置戦略は、アーキテクチャ駆動の需要パターンをキャプチャする。 オンラインのヘッドワイド戦略は、リアルタイムユーティリティに基づいた情報豊富なヘッドへのデコード中にリソースを再配置する。
  論文  参考訳（メタデータ） (2026-06-09T17:44:23Z)
• MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression [7.208745673318648]
  既存の圧縮法は、それぞれ4次元KVテンソルの1軸に作用する。 それぞれの圧縮操作に対して異なる層が非常に異なる応答を示す。 そこで我々は,各レイヤを個別にルーティングするMix-of-expertsフレームワークであるMoE-nDを提案する。
  論文  参考訳（メタデータ） (2026-04-20T01:20:26Z)
• KVSculpt: KV Cache Compression as Distillation [7.085426079187912]
  KVキャッシュ圧縮は、効率的なLLM推論に重要である。 既存のメソッドは、純粋な消去 -- どのKVペアを保持するかを選択する -- から、類似のペアをより少ないものに組み合わせたマージまで、さまざまです。 我々は、このスペクトルの反対側に移動するKVSculptを提案する。 鍵はL-BFGSで最適化され、最小二乗で閉形式で解かれる。
  論文  参考訳（メタデータ） (2026-03-29T19:14:25Z)
• Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold [7.162701793686856]
  StiefAttentionは、出力再構成誤差を直接最小化し、インフォノーマルプロジェクションベースを学習するKV-cache圧縮手法である。 これは、C4の難易度が11.9ドル、0ショットMMLUの精度が5.4%でEigenAttentionを上回り、元のデコーダ層出力に対する相対誤差が低く、コサイン類似度も高い。
  論文  参考訳（メタデータ） (2026-01-29T13:19:24Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。