論文の概要: D-Quant: Driftable Entropy Coding for KV Cache Quantization

• arxiv url: http://arxiv.org/abs/2609.19880v1
• Date: Thu, 17 Sep 2026 08:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.167669
• Title: D-Quant: Driftable Entropy Coding for KV Cache Quantization
• Title（参考訳）: D-Quant: KVキャッシュ量子化のためのドリフトブルエントロピー符号化
• Abstract要約: KVキャッシュはLLMのデプロイにおいて大きなボトルネックとなっている。 既存の方法の多くは固定幅量子化に依存している。 フレキシブルなKVキャッシュ量子化フレームワークである textbfD-Quant を提案する。
• 参考スコア（独自算出の注目度）: 8.724807429556153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The KV cache has become a major bottleneck in deploying LLMs, as its memory footprint grows linearly with sequence length and batch size, imposing substantial pressure on both memory capacity and bandwidth. Among various KV cache compression techniques, quantization is particularly attractive due to its effectiveness and ease of deployment. However, most existing methods rely on fixed-width quantization, where a $b$ bit representation is inherently limited to $2^b$ quantization levels. As the bit width decreases, the number of available levels shrinks exponentially, leading to severe information loss and rapid performance degradation. We further observe that fixed-width quantization fails to exploit the highly non-uniform distribution of KV cache. After rotation and normalization, KV values approximately follow a normal distribution, with most values concentrated near the center and only a small fraction appearing in the tails. Nevertheless, fixed-width coding allocates the same number of bits to frequent and rare symbols. Entropy coding naturally exploits such non-uniformity by assigning shorter codewords to frequent symbols and longer ones to rare symbols, substantially reducing the average number of bits required for representation. However, its variable-length output is not suited to highly parallel attention kernels, where efficient dequantization and computation rely on regular memory layouts and fixed-stride accesses. To bridge this gap, we propose \textbf{D-Quant}, a flexible KV cache quantization framework that introduces a \textbf{drift} mechanism to convert entropy-coded representations of each token into fixed-size bitstreams, enabling regular memory access and parallel dequantization within attention kernels.
• Abstract（参考訳）: KVキャッシュは、メモリフットプリントがシーケンス長とバッチサイズとともに線形に増加し、メモリ容量と帯域幅の両方に大きな圧力を与えるため、LLMのデプロイにおいて大きなボトルネックとなっている。 様々なKVキャッシュ圧縮技術の中で、量子化は、その有効性とデプロイの容易さから特に魅力的である。 しかし、既存のほとんどの手法は固定幅量子化に依存しており、本質的に$b$ビット表現は2^b$量子化レベルに制限されている。 ビット幅が減少するにつれて、利用可能なレベルが指数関数的に減少し、情報損失が著しくなり、性能が急速に低下する。 さらに、固定幅量子化は、KVキャッシュの非一様分布を利用することができないことを観察する。 回転と正規化の後、KV値は概ね正規分布に従い、ほとんどの値は中心付近に集中し、尾部にわずかにしか現れない。 それでも固定幅符号化は、頻繁かつ稀なシンボルに同じ数のビットを割り当てる。 エントロピー符号化は、短いコードワードを頻繁なシンボルに割り当て、長いコードワードを稀なシンボルに割り当てることによって、このような不均一性を自然に利用し、表現に必要なビットの平均数を著しく削減する。 しかし、その可変長出力は高並列アテンションカーネルには適せず、効率的な復号化と計算は通常のメモリレイアウトと固定列アクセスに依存している。 このギャップを埋めるために,各トークンのエントロピー符号化された表現を固定サイズのビットストリームに変換するための,フレキシブルなKVキャッシュ量子化フレームワークである \textbf{D-Quant} を提案する。

関連論文リスト

• Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference [1.9857559596234147]
  長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。 近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。 我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。
  論文  参考訳（メタデータ） (2026-07-02T07:52:43Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization [23.781285860723248]
  キーバリュー(KV)キャッシュは、大きな言語モデル(LLM)推論中にメモリオーバーヘッドを導入する。 本稿では,効率的な推論を実現しつつ,能動的KVキャッシュ圧縮のための新しいVQ手法であるVecInferを提案する。 VecInferは、長いコンテキスト理解と数学的推論タスクの両方において、既存の量子化ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-07T17:35:28Z)
• NQKV: A KV Cache Quantization Scheme Based on Normal Distribution Characteristics [6.048883141729117]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる卓越した習熟度を示してきた。 LLMは、スループットを高めるためにより大きなバッチサイズを必要とすることや、タスク要求を満たすために長いコンテキスト長を必要とすることも多い。
  論文  参考訳（メタデータ） (2025-05-22T04:23:19Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。