論文の概要: KV Cache Compression Through the Lens of Transform Coding

• arxiv url: http://arxiv.org/abs/2608.14191v1
• Date: Fri, 14 Aug 2026 11:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.36453
• Title: KV Cache Compression Through the Lens of Transform Coding
• Title（参考訳）: 変換符号化のレンズによるKVキャッシュ圧縮
• Abstract要約: 本稿では,アテンション・アウェア・トランスフォーメーション・コーディング(AATC)を紹介し,アテンション・アウェア・トランスフォーメーションの歪みを最小限に抑えるために,キャリブレーション・セット上のビットを割り当てる。 提案手法は, ほぼロスレスの精度を約5.8倍の圧縮で達成する一方, 各ベースラインは少なくともいくつかの設定で劣化する。
• 参考スコア（独自算出の注目度）: 9.884224071643606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The key-value (KV) cache stores information from past tokens and is a major memory bottleneck in long-context inference. Existing quantization methods address this bottleneck by representing the KV cache uniformly with lower-precision data types and designing quantization schemes to minimize reconstruction error in the cache itself, without accounting for how that error propagates through attention mechanisms. We prove that, under a white-noise quantization model, the expected attention-aware distortion decomposes into additive key and value contributions that factor across tokens and channels. Building on transform coding and reverse water-filling, which are classical tools from signal processing and rate-distortion theory, we introduce Attention-Aware Transform Coding (AATC), which allocates bits over a calibration set to minimize attention-aware distortion. On Llama-3.1-8B-Instruct and Qwen-2.5-7B-Instruct, evaluated across LongBench, RULER, GSM8K, MMLU-Pro, and MATH-500, our method achieves near-lossless accuracy at approximately $5.8\times$ compression, whereas each baseline degrades in at least some settings.
• Abstract（参考訳）: キー値(KV)キャッシュは過去のトークンからの情報を格納し、長いコンテキスト推論において主要なメモリボトルネックとなる。 既存の量子化手法はこのボトルネックに対処するため、KVキャッシュを低精度のデータ型で一様に表現し、そのエラーが注意機構を通してどのように伝播するかを考慮せずに、キャッシュ自体の再構成エラーを最小限に抑えるために量子化スキームを設計する。 白色雑音量子化モデルの下では、期待される注意認識歪みは、トークンやチャネルをまたいだ付加的なキーと値の寄与に分解される。 信号処理とレート歪み理論の古典的なツールである変換符号化とリバースウォーターフィリングを基盤として,アテンション・アウェア変換符号化(AATC)を導入し,アテンション・アウェアの歪みを最小限に抑えるためにキャリブレーションセット上のビットを割り当てる。 Llama-3.1-8B-InstructとQwen-2.5-7B-Instructは、LongBench, RULER, GSM8K, MMLU-Pro, MATH-500で評価され、各ベースラインが少なくともいくつかの設定で劣化するのに対して、約5.8\times$圧縮でほぼロスレス精度を実現する。

関連論文リスト

• Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
  長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。 我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
  論文  参考訳（メタデータ） (2026-07-10T17:18:25Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory [3.307797786204237]
  自然な考え方は、重要な頭により多くのビットを割り当て、残りを減らすことである。 ある量子化器の歪みモデルを別の量子化器に適用すると、割り当て順序が逆になり、均一な量子化よりも性能が悪くなる。 RateQuantは、小さなキャリブレーションセットから量子化器毎の歪みモデルに適合し、結果として生じるビット割り当て問題を閉じた形で解決する。
  論文  参考訳（メタデータ） (2026-04-22T02:31:58Z)
• KVLinC : KV Cache Quantization with Hadamard Rotation and Linear Correction [8.486713415198968]
  我々は,KVキャッシュ量子化による注意欠陥を軽減するフレームワークKVLinCを提案する。 KVLinCは、値の量子化誤差を低減するアダマール回転と、軽量な線形補正アダプタを組み合わせたものである。 KVLinC は高い KV-cache 圧縮を達成しつつ, 高いベースラインを一貫して一致または超えることを示す。
  論文  参考訳（メタデータ） (2025-10-06T21:08:11Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models [27.605195979962474]
  量子化は、大規模言語モデルにおけるKVキャッシュのメモリフットプリントを削減するために、効果的で軽量なソリューションとして登場した。 我々は、アンカートークン対応ベクトル量子化を利用してKVキャッシュを圧縮するデュアルステージフレームワークAnTKVを提案する。 実験により、AnTKVは従来の手法と4ビットで一致またはオーバーし、超低ビット量子化下でのパープレキシティを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-06-24T10:45:48Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。