論文の概要: Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison

• arxiv url: http://arxiv.org/abs/2609.28029v1
• Date: Wed, 23 Sep 2026 12:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.02201
• Title: Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
• Title（参考訳）: 変圧器キーバリューキャッシュのテンソル分解:スペクトル構造とフォーマット比較
• Abstract要約: 自己回帰変換器のキーバリューキャッシュは、注意ヘッド、トークン、特徴、グループ化層にまたがる4階テンソルと見なすことができる。 Mistral-7B-v0.3とLLaMA-2-13Bの4モード展開の特異値スペクトルを測定した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The key-value (KV) cache of autoregressive transformers can be viewed as a fourth-order tensor spanning attention heads, tokens, features, and grouped layers. We measure the singular-value spectra of all four mode unfoldings on Mistral-7B-v0.3 and LLaMA-2-13B and compare four standard tensor decompositions: Tucker, CP, tensor train, and t-SVD, at matched storage. The spectra partition the four axes into two classes. The token and feature modes carry low-rank structure, particularly for keys. The head and layer modes are nearly full-rank and resist compression at any practical error level. Among the four decompositions, Tucker achieves the lowest reconstruction error at every compression ratio from $2\times$ to $5\times$, because it can leave the full-rank modes untouched. Comparisons with two-dimensional unfolding baselines show that the preferred representation differs between keys and values: 2D methods achieve lower key error, while four-way Tucker achieves lower value error at matched storage. A mode-pinning theorem certifies the full-rank preservation from the measured spectra alone. Two further spectral properties affect the compressible modes without touching the full-rank ones: values reach a higher error floor than keys at every ratio, and post-RoPE keys lose $41\%$ - $64\%$ of their pre-RoPE compressibility on both models.
• Abstract（参考訳）: 自己回帰変換器のキー値(KV)キャッシュは、注意ヘッド、トークン、特徴、グループ化層にまたがる4階テンソルと見なすことができる。 我々は,Mistral-7B-v0.3およびLLaMA-2-13B上の4つのモード展開の特異値スペクトルを測定し,タッカー,CP,テンソルトレイン,t-SVDの4つの標準テンソル分解を比較した。 スペクトルは4つの軸を2つのクラスに分割する。 トークンとフィーチャーモードは、特にキーの低ランク構造を持つ。 ヘッドモードとレイヤーモードは、ほぼフルランクであり、実用的なエラーレベルで圧縮に抵抗する。 4つの分解のうち、Tuckerは圧縮比で最低のリコンストラクションエラーを$2\times$から$5\times$に達成している。 2次元展開ベースラインと比較すると、好ましい表現はキーと値によって異なることが示される: 2Dメソッドは低いキーエラーを達成するが、4方向タッカーは一致したストレージで低い値エラーを達成する。 モードピンニング定理は、測定されたスペクトルのみからのフルランク保存を証明している。 さらに2つのスペクトル特性は、フルランクのモードに触れることなく圧縮可能なモードに影響を与える:値は各比率でキーよりも高いエラーフロアに達する。

関連論文リスト

• A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs [0.0]
  キー値(KV)キャッシュは、トランスフォーマー推論の主要なメモリコストとなっている。 低ランク法はキャッシュの2次元スライス、またはヘッド当たり行列またはクロス層特徴ブロックを分解し、量子化法は各エントリのビット幅を下げる。 提案手法は,トークンと特徴軸のみを圧縮し,頭部と層軸をそのまま残す部分的タッカー分解法である。 ランダム化されたSVDの派生型であるFlashJoLTは、1024のコンテキストで5-13倍の圧縮時間のスピードアップと品質の一致を提供する。
  論文  参考訳（メタデータ） (2026-07-14T09:23:20Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [57.71917274869577]
  UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。 UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
  論文  参考訳（メタデータ） (2025-05-19T10:37:22Z)
• EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection [32.046554914514026]
  本稿では,可変KVキャッシュ圧縮比をサポートするRoPEモデルのためのフレキシブルフレームワークであるEliteKVを紹介する。 最小限のアップトレーニングにより、RoPEベースのモデルは、無視できるマージン内でパフォーマンスを保ちながら、KVキャッシュサイズを75%削減する。
  論文  参考訳（メタデータ） (2025-03-03T14:26:51Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。