論文の概要: GPTQT: Quantize Large Language Models Twice to Push the Efficiency

• arxiv url: http://arxiv.org/abs/2407.02891v1
• Date: Wed, 3 Jul 2024 08:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:05:39.443375
• Title: GPTQT: Quantize Large Language Models Twice to Push the Efficiency
• Title（参考訳）: GPTQT: 効率を上げるために2倍の大規模言語モデルを量子化する
• Authors: Yipin Guo, Yilin Lang, Qinyuan Ren,
• Abstract要約: 本稿では,学習後量子化手法であるGPTQTを導入し,メモリ使用量の削減と処理速度の向上を図る。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 GPTQTは、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。
• 参考スコア（独自算出の注目度）: 1.3149617027696827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to their large size, generative Large Language Models (LLMs) require significant computing and storage resources. This paper introduces a new post-training quantization method, GPTQT, to reduce memory usage and enhance processing speed by expressing the weight of LLM in 3bit/2bit. Practice has shown that minimizing the quantization error of weights is ineffective, leading to overfitting. Therefore, GPTQT employs a progressive two-step approach: initially quantizing weights using Linear quantization to a relatively high bit, followed by converting obtained int weight to lower bit binary coding. A re-explore strategy is proposed to optimize initial scaling factor. During inference, these steps are merged into pure binary coding, enabling efficient computation. Testing across various models and datasets confirms GPTQT's effectiveness. Compared to the strong 3-bit quantization baseline, GPTQT further reduces perplexity by 4.01 on opt-66B and increases speed by 1.24 times on opt-30b. The results on Llama2 show that GPTQT is currently the best binary coding quantization method for such kind of LLMs.
• Abstract（参考訳）: その規模が大きいため、生成型Large Language Models (LLMs) は重要な計算資源とストレージ資源を必要とする。 本稿では,3bit/2bit で LLM の重みを表現し,メモリ使用量の削減と処理速度の向上を図るため,新しい学習後量子化手法 GPTQT を提案する。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 したがって、GPTQTはプログレッシブな2段階のアプローチを採用しており、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。 初期スケーリング係数を最適化するための再探索戦略を提案する。 推論の間、これらのステップは純粋なバイナリコーディングにマージされ、効率的な計算を可能にします。 さまざまなモデルとデータセットを対象としたテストでは、GPTQTの有効性が確認されている。 強い3ビット量子化ベースラインと比較して、GPTQTはオプト66Bではパープレキシティを4.01削減し、オプト30bではスピードを1.24倍向上させる。 Llama2 の結果から GPTQT はこの種の LLM に最適なバイナリ符号化量子化法であることがわかった。

関連論文リスト

• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [62.904403513409484]
  大規模言語モデル(LLM)は、現代の自然言語処理や人工知能に不可欠なものである。 LLMを圧縮する新しい量子化手法であるEfficientQAT(Efficient Quantization-Aware Training)を提案する。 広範囲な実験により、EfficientQATは、様々なモデルで以前の量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  AQLMは、パラメータ毎に3ビット未満に圧縮する場合、精度-vs-モデルサイズで最適である最初のスキームである。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供する。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• TEQ: Trainable Equivalent Transformation for Quantization of LLMs [1.0376648762140632]
  TEQは、低精度量子化を生かしながら、モデル出力のFP32精度を保存する訓練可能な等価変換である。 トレーニングプロセスは軽量で、1Kステップしか必要とせず、オリジナルのモデルのトレーニング可能なパラメータの0.1%未満である。
  論文  参考訳（メタデータ） (2023-10-17T02:42:34Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• QuIP: 2-Bit Quantization of Large Language Models With Guarantees [44.212441764241]
  本研究では,大規模言語モデル(LLM)における学習後のパラメータ量子化について研究する。 Incoherence Processing (QuIP) を用いた量子化を導入する。これは、$textitincoherent$ weight と Hessian matrices から量子化が恩恵を受けるという知見に基づく新しい方法である。
  論文  参考訳（メタデータ） (2023-07-25T07:44:06Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks [1.398698203665363]
  本稿では,低ビット精度を利用する非線形量子化手法について検討する。 我々は,低ビット幅のPower-of-Two(PoT)ネットワークのトレーニングを可能にするQATアルゴリズムを開発した。 同時に、PoT量子化はニューラルネットワークの計算複雑性を大幅に減らす。
  論文  参考訳（メタデータ） (2022-03-09T19:57:14Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。