論文の概要: E8 Lattice Key Quantization for Low-Bit KV-Cache Compression

• arxiv url: http://arxiv.org/abs/2610.15384v1
• Date: Sun, 11 Oct 2026 06:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.206608
• Title: E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
• Title（参考訳）: 低ビットKVキャッシュ圧縮のためのE8格子鍵量子化
• Abstract要約: KVキーに対するE_8$格子に基づくベクトル量子化(VQ)を用いて、均一な低ビットk2v2構成(2ビットキーと2ビット値)が、ほぼベースライン品質を維持することができることを示す。 我々の研究は、長文言語モデル推論における品質メモリのフロンティアを拡大するための低オーバーヘッドプリミティブを提供する。
• 参考スコア（独自算出の注目度）: 38.33322656231618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compressing the key-value (KV) cache is essential for serving long-context large language models (LLMs) under memory constraints. While current scalar quantization methods achieve significant compression, they typically face a quality-fidelity trade-off, either suffering from performance instability at 2-bit precision or necessitating 3-bit keys to maintain model quality. In this work, we demonstrate that a uniform low-bit k2v2 configuration (2-bit keys and 2-bit values) can preserve near-baseline quality by using vector quantization (VQ) based on the $E_8$ lattice for KV keys. We show that structured VQ exploits correlations across adjacent dimensions to achieve signal-to-quantization-noise ratios (SQNR) higher than those of independent scalar quantization at the same key payload rate. To ensure practical utility, we adapt a table-based asymmetric scoring algorithm that avoids explicit codebook dequantization during attention computation and preserves decode-throughput parity with scalar baselines. Across five LLM families, our $E_8$ k2v2 approach yields \textasciitilde$6\times$ KV compression, roughly 20\% smaller than scalar k3v2 (3-bit keys and 2-bit values), while retaining near-baseline long-context perplexity. In our full-suite perplexity evaluation, $E_8$ improves over scalar k3v2 in 80\% of model--dataset--context settings. These results indicate that $E_8$ lattice VQ improves quality per byte while keeping throughput at parity, suggesting that structured key quantization is a useful primitive for KV-compression stacks. Overall, our work provides a low-overhead primitive for expanding the quality-memory frontier in long-context LLM inference.
• Abstract（参考訳）: キー値(KV)キャッシュの圧縮は、メモリ制約下でのLong-context Large Language Model(LLM)の提供に不可欠である。 現在のスカラー量子化法は大きな圧縮を実現するが、2ビットの精度で性能の不安定さに悩まされるか、3ビットのキーでモデルの品質を維持する必要がある。 本研究では,KVキーに対する$E_8$格子に基づくベクトル量子化(VQ)を用いることで,均一な低ビットk2v2構成(2ビットキーと2ビット値)をほぼベースライン品質に維持できることを実証する。 構造化されたVQは、隣接する次元間での相関を利用して、同じ鍵ペイロードレートで独立スカラー量子化よりも高い信号-量子化-雑音比(SQNR)を実現する。 実用性を確保するため,注意計算中の明示的なコードブックの復号化を回避し,スカラーベースラインによるデコード・スループットのパリティを保ったテーブルベースの非対称スコアリングアルゴリズムを適用した。 LLMの5つのファミリにまたがって、E_8$ k2v2アプローチは、ほぼベースラインの長文パープレクシリティを維持しながら、k3v2のスカラーキー(3ビットキーと2ビット値)よりも約20倍小さいKV圧縮を実現する。 E_8$は、モデル-データセット-コンテキスト設定の80%でスカラーk3v2よりも改善します。 これらの結果は,KV圧縮スタックにおいて,構造化鍵量子化が有用なプリミティブであることが示唆された。 全体として、私たちの研究はLLM推論における品質メモリのフロンティアを拡大するための低オーバーヘッドプリミティブを提供します。

関連論文リスト

• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression [13.981807478365452]
  キーバリューキャッシュサイズを減らすための既存のアプローチは、圧縮戦略を学ぶためのモデルを微調整するか、シーケンス長を減らすためにアテンションスコアを利用するかのいずれかである。 キャッシュされたKVペアに対して、$L$とアテンションスコアとの間に明らかな相関関係が見られ、キー埋め込みの低い$L$がデコード時に高いアテンションスコアをもたらす。 実験の結果,この単純な手法により,言語モデリングやニードル・イン・ア・ヘイスタックタスクでは50%,パスキー検索タスクでは90%,精度を損なうことなく,KVキャッシュサイズを50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:35:16Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。