論文の概要: AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD

• arxiv url: http://arxiv.org/abs/2610.06927v1
• Date: Sat, 03 Oct 2026 00:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.468431
• Title: AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
• Title（参考訳）: AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
• Abstract要約: 提案するSVDは,視線情報のみを実際に読み取ることで,視線毎のKVメモリを保持ランクに比例して切断する。 注意を意識したベースは、実際に注意を読み取り、注意ログと注意出力の両方を保存する。 複数のモデルにわたって、エージェントベンチマークとフルのLongBenchスイートのAttSVDは、KVキャッシュメモリの最大50%を使用しながら、高密度キャッシュと同等である。
• 参考スコア（独自算出の注目度）: 9.979568589059495
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The key-value (KV) cache of autoregressive transformers grows linearly with context length and dominates memory at long context. Most training-free remedies evict low-importance tokens, an irreversible choice along the sequence axis. We instead keep every token and store it more cheaply along the "feature" axis. We therefore propose AttSVD, a new "interpretable" low-rank compression whose basis is derived from each prompt's own attention geometry: an online, per-prompt truncated SVD that keeps only the directions attention actually reads, cutting persistent per-head KV memory in proportion to the retained rank. We propose two decode-time caching strategies, accumulating and streaming, for short and long generation regimes. Furthermore, we propose two refinements that make compression adaptive. A per-matrix energy rule sizes the logit space and the attention mass independently. An attention-aware basis truncates only in the spaces attention actually reads, preserving both the attention logits and the attention output. The same factors also provide free, per-head interpretability insights into the effective rank and the geometry attention consumes. Across multiple models, on both an agentic benchmark and the full LongBench suite AttSVD stays on par with the dense cache while using up to 50% of the KV-cache memory.
• Abstract（参考訳）: 自己回帰変換器のキー値(KV)キャッシュは、コンテキスト長とともに線形に成長し、長いコンテキストでメモリを支配します。 トレーニングなしのほとんどの治療法は、シーケンス軸に沿った不可逆な選択である、低重要トークンを排除している。 代わりに、すべてのトークンを保持し、"機能"軸に沿ってより安価に保存します。 そこで我々は,各プロンプトの注意形状をベースとした新しい「解釈可能な」低ランク圧縮であるAttSVDを提案する。 本稿では,デコード時キャッシング戦略として,短時間・長期のシステムに対して,蓄積とストリーミングという2つの手法を提案する。 さらに,圧縮を適応させる2つの改良法を提案する。 行列毎のエネルギールールは、ロジット空間と注目質量を独立にサイズする。 注意を意識したベースは、実際に注意を読み取り、注意ログと注意出力の両方を保存する。 同じ要因は、有効ランクと幾何学的注意力の消費に関する、自由で頭当たりの解釈可能性に関する洞察も提供する。 複数のモデルにわたって、エージェントベンチマークとフルのLongBenchスイートのAttSVDは、KVキャッシュメモリの最大50%を使用しながら、高密度キャッシュと同等である。

関連論文リスト

• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。