論文の概要: QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead

• arxiv url: http://arxiv.org/abs/2406.03482v2
• Date: Thu, 18 Jul 2024 16:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:32:20.275378
• Title: QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
• Title（参考訳）: QJL:ゼロオーバーヘッドによるKVキャッシュ量子化のための1ビット量子化JL変換
• Authors: Amir Zandieh, Majid Daliri, Insu Han,
• Abstract要約: LLMをシリアル化するには、KVキャッシュにキーバリューの埋め込みを格納する必要があるため、かなりのメモリを必要とする。 従来の量子化法は、量子化定数を保存する必要があるため、大きなメモリオーバーヘッドに直面している。 ジョンソン-リンデンシュトラウス変換とサインビット量子化を組み合わせた新しい量子化手法であるQJLを導入する。
• 参考スコア（独自算出の注目度）: 10.067037913589175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Serving LLMs requires substantial memory due to the storage requirements of Key-Value (KV) embeddings in the KV cache, which grows with sequence length. An effective approach to compress KV cache is quantization. However, traditional quantization methods face significant memory overhead due to the need to store quantization constants (at least a zero point and a scale) in full precision per data block. Depending on the block size, this overhead can add 1 or 2 bits per quantized number. We introduce QJL, a new quantization approach that consists of a Johnson-Lindenstrauss (JL) transform followed by sign-bit quantization. In contrast to existing methods, QJL eliminates memory overheads by removing the need for storing quantization constants. We propose an asymmetric estimator for the inner product of two vectors and demonstrate that applying QJL to one vector and a standard JL transform without quantization to the other provides an unbiased estimator with minimal distortion. We have developed an efficient implementation of the QJL sketch and its corresponding inner product estimator, incorporating a lightweight CUDA kernel for optimized computation. When applied across various LLMs and NLP tasks to quantize the KV cache to only 3 bits, QJL demonstrates a more than fivefold reduction in KV cache memory usage without compromising accuracy, all while achieving faster runtime. Codes are available at \url{https://github.com/amirzandieh/QJL}.
• Abstract（参考訳）: LLMをシリアル化するには、キーバリュー(KV)埋め込みをKVキャッシュに格納する必要があるため、大きなメモリを必要とする。 KVキャッシュを圧縮するための効果的なアプローチは量子化である。 しかし、従来の量子化法は、量子化定数(少なくともゼロ点とスケール)を1データブロックあたりの完全精度で保存する必要があるため、メモリオーバーヘッドがかなり大きい。 ブロックサイズによって、このオーバーヘッドは量子化数当たり1ビットまたは2ビットを追加することができる。 我々は、ジョンソン-リンデンシュトラウス変換(JL)とサインビット量子化を組み合わせた新しい量子化手法であるQJLを紹介する。 既存の方法とは対照的に、QJLは量子化定数を保存する必要をなくすことでメモリオーバーヘッドをなくす。 2つのベクトルの内積に対する非対称推定器を提案し、一方のベクトルにQJLを適用すると、他方のベクトルに量子化せずに標準のJL変換を適用すると、最小歪みの非バイアス推定器が得られることを示した。 我々は,QJLスケッチとそれに対応する内部積推定器の効率的な実装を開発し,軽量なCUDAカーネルを用いて最適化計算を行った。 様々なLLMおよびNLPタスクにまたがってKVキャッシュを3ビットに量子化すると、QJLはKVキャッシュのメモリ使用量を5倍以上に削減し、精度を損なうことなく高速な実行を実現している。 コードは \url{https://github.com/amirzandieh/QJL} で公開されている。

関連論文リスト

• Residual vector quantization for KV cache compression in large language model [2.3094645821058735]
  KVキャッシュ圧縮法は主にデコード時のメモリ要求を減らすスカラー量子化技術に依存している。 本研究では,大規模言語モデル(LLM)におけるKVキャッシュの圧縮に,高忠実度音声圧縮に広く用いられている残差ベクトル量子化を適用した。 我々は指数移動平均を用いてコードブックを学習し、ベクトル量子化設定に通常使用される入力と出力のプロジェクションを含む他の学習可能なパラメータは存在しない。
  論文  参考訳（メタデータ） (2024-10-21T07:20:41Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models [43.22490117833939]
  SKVQはスライディングウインドウKVキャッシュ量子化の略である。 SKVQは、量子化グループにおけるチャネルの類似性を改善するために、KVキャッシュのチャネルを再構成する。 7bモデルで80GBのメモリGPU上で最大1Mのコンテキスト長を処理でき、最大7倍高速な復号を行うことができる。
  論文  参考訳（メタデータ） (2024-05-10T03:06:24Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。