論文の概要: QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.08041v3
• Date: Sat, 6 Apr 2024 10:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:35:24.559448
• Title: QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models
• Title（参考訳）: QLLM:大規模言語モデルのための高精度で効率的な低ビット幅量子化
• Authors: Jing Liu, Ruihao Gong, Xiuying Wei, Zhiwei Dong, Jianfei Cai, Bohan Zhuang,
• Abstract要約: 量子化アウェアトレーニング(QAT)はソリューションを提供するが、トレーニング後の量子化(PTQ)は大規模言語モデル(LLM)のより実践的なアプローチとなる。 LLM向けに設計された高精度かつ効率的な低ビット幅PTQ法QLLMを提案する。
• 参考スコア（独自算出の注目度）: 44.515165695546614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel in NLP, but their demands hinder their widespread deployment. While Quantization-Aware Training (QAT) offers a solution, its extensive training costs make Post-Training Quantization (PTQ) a more practical approach for LLMs. In existing studies, activation outliers in particular channels are identified as the bottleneck to PTQ accuracy. They propose to transform the magnitudes from activations to weights, which however offers limited alleviation or suffers from unstable gradients, resulting in a severe performance drop at low-bitwidth. In this paper, we propose QLLM, an accurate and efficient low-bitwidth PTQ method designed for LLMs. QLLM introduces an adaptive channel reassembly technique that reallocates the magnitude of outliers to other channels, thereby mitigating their impact on the quantization range. This is achieved by channel disassembly and channel assembly, which first breaks down the outlier channels into several sub-channels to ensure a more balanced distribution of activation magnitudes. Then similar channels are merged to maintain the original channel number for efficiency. Additionally, an adaptive strategy is designed to autonomously determine the optimal number of sub-channels for channel disassembly. To further compensate for the performance loss caused by quantization, we propose an efficient tuning method that only learns a small number of low-rank weights while freezing the pre-trained quantized model. After training, these low-rank parameters can be fused into the frozen weights without affecting inference. Extensive experiments on LLaMA-1 and LLaMA-2 show that QLLM can obtain accurate quantized models efficiently. For example, QLLM quantizes the 4-bit LLaMA-2-70B within 10 hours on a single A100-80G GPU, outperforming the previous state-of-the-art method by 7.89% on the average accuracy across five zero-shot tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)はNLPで優れているが、その要求は広く展開を妨げている。 QAT(Quantization-Aware Training)はソリューションを提供するが、その広範なトレーニングコストにより、PTQ(Post-Training Quantization)はLLMにとってより実用的なアプローチとなる。 既存の研究では、特定のチャネルにおけるアクティベーション・アウトレイアがPTQ精度のボトルネックとして認識されている。 彼らはこの大きさを活性化から重みに変換することを提案したが、これは限定的な緩和や不安定な勾配に悩まされ、結果として低ビット幅での厳しい性能低下を招いた。 本稿では,LLMのための高精度かつ効率的な低ビット幅PTQ法であるQLLMを提案する。 QLLMはアダプティブチャネル再組み立て技術を導入し、他のチャネルにアウトレーヤの規模を割り当てることで、量子化範囲への影響を緩和する。 これは、チャネル分解とチャネルアセンブリによって実現され、最初に外部チャネルを複数のサブチャネルに分割し、活性化の規模をよりバランスよく分布させる。 そして、類似のチャネルをマージして、元のチャネル番号を効率よく維持する。 さらに、適応戦略は、チャネル分解のための最適なサブチャネル数を自律的に決定するように設計されている。 量子化による性能損失を補うために,事前学習した量子化モデルを凍結しながら少数の低ランク重みのみを学習する効率的なチューニング手法を提案する。 トレーニング後、これらの低ランクパラメータは推論に影響を与えることなく凍結重量に融合することができる。 LLaMA-1とLLaMA-2の大規模な実験は、QLLMが正確な量子化モデルを効率的に得ることを示す。 例えば、QLLMは、1つのA100-80G GPU上で4ビットのLLaMA-2-70Bを10時間以内に量子化し、5つのゼロショットタスクの平均精度を7.89%上回る。

関連論文リスト

• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。 既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。 本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models [7.485068491216164]
  大規模言語モデル(LLM)は、最近、様々なタスクで顕著な成功を収めた。 重みのみの量子化は有望なアプローチであるが、大振幅のアクティベーションアウトレイアのため、サブ-4ビットの量子化は依然として課題である。 本稿では,各入力チャネル内の量子化グループを生成する簡易かつ効果的な手法である,IC単位の量子化を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:48:31Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• RPTQ: Reorder-based Post-training Quantization for Large Language Models [46.03754730678076]
  大規模言語モデル(LLM)は目覚ましいパフォーマンスを示しているが、そのデプロイメントはメモリ使用量が非常に多いため、課題を呈している。 本稿では、リオーダーベースのアプローチを用いたRTTQと呼ばれる量子化手法を提案する。 実験では,LPMの3ビットアクティベーションを初めて利用し,メモリ使用量の大幅な削減を実現した。
  論文  参考訳（メタデータ） (2023-04-03T15:46:15Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。