論文の概要: SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

• arxiv url: http://arxiv.org/abs/2608.07915v1
• Date: Sat, 08 Aug 2026 04:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.560207
• Title: SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding
• Title（参考訳）: SPECTRA:スペクトル変換符号化による2ビットクリフを超えてKVキャッシュをプッシュ
• Abstract要約: 大規模言語モデル (LLM) はエージェント時代の長い入力を読み取る傾向にある。 既存のほとんどのメソッドは、保存されたすべての値を同じ低い精度に下げることで、KVキャッシュを圧縮する。 我々は、信号を運ぶチャネルにビット予算を集中させる訓練不要のドロップインであるSPECTRAを開発する。
• 参考スコア（独自算出の注目度）: 14.865252861545672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly read long inputs in the agentic era, from whole documents and codebases to conversations across many turns. Their inference memory is then dominated by the key-value (KV) cache, the stored attention keys and values of every token the model has read and generated. Because the cache grows with context length and is re-read in full at every generated token, a longer context means more GPU memory. To reduce this cost, most existing methods compress the KV cache by lowering every stored value to the same low precision, a technique known as quantization. They can push this to nearly two bits per value, but rarely further, because quality drops sharply at this 2-bit cliff: four levels are too few for the cache's outlier-heavy values, where a few large entries consume the levels and collapse the rest into noise. A natural remedy is to spend more bits on the channels (feature dimensions) that matter and fewer on the rest, but the raw cache offers no handle: its channels are strongly correlated, so none stands out as more important. Our analysis shows that this handle appears once the cache is rotated into a coordinate system computed from its own statistics, removing these correlations. There, a small fraction of channels carries almost all the information, and spending the budget on those few is far more accurate than spreading it evenly. Guided by this analysis, we develop SPECTRA, a training-free, drop-in codec that re-encodes the cache into this coordinate system and concentrates the bit budget on the channels that carry the signal. On Llama-3.1-8B and Qwen2.5-7B over long-context benchmarks, SPECTRA is near-lossless at 4x compression, competitive at 8x where uniform quantization has collapsed, and reaches up to 12x, pushing usable compression past the 2-bit cliff so the same GPU holds longer contexts and larger batches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ドキュメントやコードベース全体から多くのターンにわたる会話に至るまで、エージェント時代の長い入力を読み取るようになっている。 推論メモリはキー値(KV)キャッシュ、格納されたアテンションキー、モデルが読み出して生成したトークンの値によって支配される。 キャッシュはコンテキスト長とともに成長し、生成されたトークン毎に完全に読み込まれるため、より長いコンテキストはより多くのGPUメモリを意味する。 このコストを削減するため、既存のほとんどのメソッドは、KVキャッシュを圧縮し、保存されたすべての値を同じ低い精度に下げる。 この2ビットの崖で品質が急激に低下するので、4つのレベルはキャッシュの外付け値には小さすぎるため、少数の大規模なエントリがレベルを消費し、残りをノイズに分解する。 自然な対策は、重要なチャネル(機能ディメンション)により多くのビットを費やすことですが、生キャッシュにはハンドルがありません。 解析の結果、キャッシュが自身の統計から計算された座標系に回転すると、このハンドルが出現し、それらの相関が取り除かれることがわかった。 そこでは、ごくわずかなチャネルがほとんどすべての情報を持ち、予算をその数に費やすことは、それを均等に広めるよりもはるかに正確だ。 この分析により、この座標系にキャッシュを再エンコードし、信号を運ぶチャネルにビット予算を集中する訓練不要のドロップインコーデックであるSPECTRAを開発した。 Llama-3.1-8B と Qwen2.5-7B のロングコンテキストベンチマークでは、SPECTRA は 4x の圧縮でほぼロスレスであり、均一な量子化が崩壊した 8x で競合し、最大 12x に達する。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Quantized Keys Steal Attention: Bias Correction for KV-Cache Compression in Video Diffusion [1.1852406625172218]
  KVキャッシュを低ビット幅に定量化する手法は、メモリ圧力を低減させるが、画質を低下させる。 この劣化の鍵となる要因は、注意重みの体系的なバイアスであることを示す。 我々は、この予測バイアスを除去するアテンションごとのスコア補正を導出する。
  論文  参考訳（メタデータ） (2026-05-25T18:51:59Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。