論文の概要: Quantize What Counts: Bit Allocation Insights Informed by Spectral Gaps in Keys and Values

• arxiv url: http://arxiv.org/abs/2502.15075v2
• Date: Fri, 23 May 2025 04:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.834179
• Title: Quantize What Counts: Bit Allocation Insights Informed by Spectral Gaps in Keys and Values
• Title（参考訳）: 値の量子化:キーと値のスペクトルギャップによってインフォームされたビットアロケーションインサイト
• Authors: Mohsen Hariri, Alan Luo, Mohammadreza Nemati, Lam Nguyen, Shaochen Zhong, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary,
• Abstract要約: KV量子化法の拡張を目的とした2つの新しい定理を提供する。 我々の最初の定理は、キー値ノルム格差(Key-Value Norm Disparity)と呼ばれ、鍵重み行列がよりリッチな情報を持っていることを述べる。 第2の定理であるキー駆動量子化(Key-Driven Quantization)は、値上のキーの量子化精度の優先順位付けは、全体的な量子化性能に大きな改善をもたらすという仮説である。
• 参考スコア（独自算出の注目度）: 57.54443445583921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have introduced significant advancements to the capabilities of Natural Language Processing (NLP) in recent years. However, as these models continue to scale in size, memory constraints pose substantial challenge. Key and Value cache (KV cache) quantization has been well-documented as a promising solution to this limitation. In this work, we provide two novel theorems aimed at enhancing KV quantization methods. Our first theorem, termed Key-Value Norm Disparity, states that the key weight matrices by nature carry richer information compared to the value weight matrices, as evidenced by higher spectral and Frobenius norms across most of the layers. Our second theorem, Key-Driven Quantization, posits that prioritizing the quantization precision of keys over values induces significant improvements to the overall quantization performance. In particular, assigning greater precision to the keys compared to the values achieves a higher degree of precision reduction with minimal impact on model accuracy. We validate these theorems through theory and extensive experiments on several state-of-the-art LLM architectures and benchmarks. These findings offer valuable guidelines for improving KV cache quantization strategies, facilitating more efficient memory utilization without compromising model performance across diverse NLP tasks. Source code is available at https://github.com/mohsenhariri/spectral-kv.
• Abstract（参考訳）: 近年,Large Language Models (LLM) は自然言語処理(NLP)の能力に大きな進歩をもたらした。 しかし、これらのモデルのサイズが拡大し続ければ、メモリ制限は大きな課題となる。 キー・アンド・バリューキャッシュ(KVキャッシュ)量子化はこの制限に対する有望な解決策として十分に文書化されている。 そこで本研究では,KV量子化法の拡張を目的とした2つの新しい定理を提案する。 私たちの最初の定理は「Key-Value Norm Disparity」と呼ばれ、多くの層にまたがる高スペクトルやフロベニウスのノルムによって証明されているように、自然の重み行列は値の重み行列よりもリッチな情報を持っている。 第2の定理であるキー駆動量子化(Key-Driven Quantization)は、値上のキーの量子化精度の優先順位付けは、全体的な量子化性能に大きな改善をもたらすという仮説である。 特に、値よりも高い精度をキーに割り当てることにより、モデルの精度に最小限の影響を伴って高い精度の削減を実現する。 我々はこれらの定理を、いくつかの最先端のLLMアーキテクチャとベンチマークに関する理論と広範な実験を通じて検証する。 これらの知見は、KVキャッシュ量子化戦略を改善するための貴重なガイドラインを提供し、多様なNLPタスクにまたがるモデル性能を損なうことなく、より効率的なメモリ利用を促進する。 ソースコードはhttps://github.com/mohsenhariri/spectral-kv.comで公開されている。

関連論文リスト

• SQuat: Subspace-orthogonal KV Cache Quantization [19.131705063324883]
  SQuat(Subspace-orthogonal KV cache Quantization)を導入し、ピークメモリを2.17から2.82に削減し、スループットを2.45から3.60に改善し、既存のKVキャッシュ量子化アルゴリズムよりも優れたベンチマークスコアを得る。 我々は,ピークメモリを2.17から2.82に削減し,スループットを2.45から3.60に改善し,既存のKVキャッシュ量子化アルゴリズムよりも優れたベンチマークスコアを得ることを示した。
  論文  参考訳（メタデータ） (2025-03-31T17:37:32Z)
• SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention [0.0]
  KVキャッシュ圧縮技術の主な3つのタイプ、すなわちスパシティ、チャネル圧縮、量子化が同定された。 本研究は,Kキャッシュの混合精度定量化法であるSVDqを提案する。
  論文  参考訳（メタデータ） (2025-02-21T08:55:21Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• Memory-Efficient 4-bit Preconditioned Stochastic Optimization [53.422307389223626]
  シャンプーのプリコンディショナーに4ビット量子化を導入する。 我々の知る限り、これはプレコンディショナーのチョレスキー因子に適用された最初の量子化手法である。 Cholesky量子化とエラーフィードバックを組み合わせることで、メモリ効率とアルゴリズム性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-12-14T03:32:54Z)
• Residual vector quantization for KV cache compression in large language model [2.3094645821058735]
  KVキャッシュ圧縮法は主にデコード時のメモリ要求を減らすスカラー量子化技術に依存している。 本研究では,大規模言語モデル(LLM)におけるKVキャッシュの圧縮に,高忠実度音声圧縮に広く用いられている残差ベクトル量子化を適用した。 我々は指数移動平均を用いてコードブックを学習し、ベクトル量子化設定に通常使用される入力と出力のプロジェクションを含む他の学習可能なパラメータは存在しない。
  論文  参考訳（メタデータ） (2024-10-21T07:20:41Z)
• AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations [36.63586957377984]
  大規模な言語モデルは、しばしばかなりのストレージスペースを必要とする。 パラメータ数が膨大であるため、これらのモデルは大きなストレージスペースを必要とすることが多い。 1つの研究方向は、浮動小数点数の整数置換を用いてモデルを圧縮することを提案する。
  論文  参考訳（メタデータ） (2024-10-17T04:35:57Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
  既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
  論文  参考訳（メタデータ） (2023-03-25T03:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。