論文の概要: EfficientQAT: Efficient Quantization-Aware Training for Large Language Models

• arxiv url: http://arxiv.org/abs/2407.11062v1
• Date: Wed, 10 Jul 2024 17:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 20:10:21.769723
• Title: EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
• Title（参考訳）: EfficientQAT: 大規模言語モデルの効率的な量子化学習
• Authors: Mengzhao Chen, Wenqi Shao, Peng Xu, Jiahao Wang, Peng Gao, Kaipeng Zhang, Yu Qiao, Ping Luo,
• Abstract要約: 大規模言語モデル(LLM)は、現代の自然言語処理や人工知能に不可欠なものである。 LLMを圧縮する新しい量子化手法であるEfficientQAT(Efficient Quantization-Aware Training)を提案する。 広範囲な実験により、EfficientQATは、様々なモデルで以前の量子化法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 62.904403513409484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are integral to modern natural language processing and artificial intelligence. However, they face challenges in managing their significant memory requirements. Although quantization-aware training (QAT) offers a solution by reducing memory consumption through low-bit representations with minimal accuracy loss, it demands substantial training resources to optimize model weights and quantization parameters. To address this, we propose Efficient Quantization-Aware Training (EfficientQAT), a novel quantization technique for compressing LLMs. EfficientQAT involves two consecutive phases: Block-wise training of all parameters (Block-AP) and end-to-end training of quantization parameters (E2E-QP). Block-AP sequentially conducts quantization-aware training for all parameters in each transformer block with block-wise reconstruction, maintaining efficiency by avoiding training the entire LLM. Initialized with quantized model, E2E-QP then trains only quantization parameters (step sizes) end-to-end, enhancing efficiency with a fixed quantized backbone and reduced trainable parameter count. Extensive experiments demonstrate that EfficientQAT outperforms previous quantization methods across a range of models, including base LLMs, instruction-tuned LLMs, and multimodal LLMs, with scales from 7B to 70B parameters at various quantization bits. For instance, EfficientQAT obtains a 2-bit Llama-2-70B model on a single A100-80GB GPU in 41 hours, with less than 3\% accuracy degradation compared to the full precision (69.48 vs. 72.41). Notably, this INT2 quantized 70B model obtains a 1.67 accuracy gain over the Llama-2-13B model (69.48 vs. 67.81) while requiring less memory (19.2GB vs. 24.2GB). Code is available at https://github.com/OpenGVLab/EfficientQAT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代の自然言語処理や人工知能に不可欠なものである。 しかし、それらは重要なメモリ要件を管理する上での課題に直面している。 量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減するソリューションを提供するが、モデルの重み付けと量子化パラメータを最適化するためにかなりのトレーニングリソースを必要とする。 そこで本研究では,LLMを圧縮する新しい量子化手法であるEfficient Quantization-Aware Training (EfficientQAT)を提案する。 EfficientQATは、すべてのパラメータ(Block-AP)のブロックワイドトレーニングと、量子化パラメータ(E2E-QP)のエンドツーエンドトレーニングの2つのフェーズを含む。 ブロック-APは各変圧器ブロック内の全てのパラメータの量子化学習をブロックワイズで順次行い、LLM全体のトレーニングを回避して効率を維持する。 量子化モデルで初期化されたE2E-QPは、量子化パラメータ(ステップサイズ)だけを訓練し、固定された量子化バックボーンで効率を向上し、トレーニング可能なパラメータ数を削減した。 EfficientQATは、ベースLLM、命令調整LDM、マルチモーダルLDMなど、様々な量子化ビットで7Bから70Bのスケールで、従来の量子化手法よりも優れていることを示した。 例えば、EfficientQATは1つのA100-80GB GPU上の2ビットのLlama-2-70Bモデルを41時間で取得し、全精度(69.48 vs. 72.41)と比較して3\%未満の精度で分解する。 このINT2量子化された70Bモデルは、Llama-2-13Bモデル(69.48 vs. 67.81)よりも1.67の精度を得るが、メモリは少ない(19.2GB vs. 24.2GB)。 コードはhttps://github.com/OpenGVLab/EfficientQAT.comで入手できる。

関連論文リスト

• GPTQT: Quantize Large Language Models Twice to Push the Efficiency [1.3149617027696827]
  本稿では,学習後量子化手法であるGPTQTを導入し,メモリ使用量の削減と処理速度の向上を図る。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 GPTQTは、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。
  論文  参考訳（メタデータ） (2024-07-03T08:08:01Z)
• Low-Rank Quantization-Aware Training for LLMs [8.535254310145005]
  大規模言語モデル(LLM)は、一様だが、計算とメモリの需要がますます増大しているため、その実践的な展開は困難である。 LLMのための軽量かつメモリ効率のQATアルゴリズムであるLR-QATを提案する。 提案手法は、PTQ(Common-training Quantization)アプローチよりも優れ、メモリ使用率のごく一部でフルモデルQATと同じモデル性能に達する。
  論文  参考訳（メタデータ） (2024-06-10T15:44:22Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  AQLMは、パラメータ毎に3ビット未満に圧縮する場合、精度-vs-モデルサイズで最適である最初のスキームである。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供する。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。 これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。 性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
  論文  参考訳（メタデータ） (2023-10-11T02:47:40Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。