論文の概要: The Uniqueness of LLaMA3-70B with Per-Channel Quantization: An Empirical Study

• arxiv url: http://arxiv.org/abs/2408.15301v1
• Date: Tue, 27 Aug 2024 15:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 18:12:06.870055
• Title: The Uniqueness of LLaMA3-70B with Per-Channel Quantization: An Empirical Study
• Title（参考訳）: チャネル当たり量子化によるLLaMA3-70Bの特異性:実証的研究
• Authors: Minghai Qin,
• Abstract要約: 我々はLLaMA3/3.1-70BモデルとLLaMA3/3.1-8B/405Bモデルの両方に欠落しているLLaMA3/3.1-70Bモデルに特徴的な量子化関連挙動を観察した。 残りの97%の層がチャネル単位の構成を維持しているのに対し、W8A8の量子化は3%未満の混合戦略を提案する。
• 参考スコア（独自算出の注目度）: 5.7672452948056545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We have observed a distinctive quantization-related behavior in the LLaMA3/3.1-70B models that is absent in both the LLaMA2-70B and LLaMA3/3.1-8B/405B models. Quantization is a crucial technique for deploying large language models (LLMs) efficiently. Among various bit widths and representations for weights and activations, the 8-bit integer weight and 8-bit integer activation (W8A8) configuration is particularly popular due to its widespread hardware support. However, the impact of W8A8 post-training quantization on model accuracy remains contentious. While several studies have suggested calibrating either weights or activations to mitigate accuracy degradation, a comprehensive solution has yet to be identified. In this paper, we empirically investigate multiple LLMs featured on an open LLM leaderboard, discovering that the LLaMA3-70B model series have a unique accuracy degradation behavior with W8A8 per-channel post-training quantization. In contrast, other model series such as LLaMA2, LLaMA3-8B, Qwen, Mixtral, Mistral, Phi-3, and Falcon demonstrate robust performance with W8A8, sometimes surpassing their FP16 counterparts. Contrary to previous assertions attributing degradation to the large dynamic range of activations, our findings indicate that the weight distribution of the LLaMA3-70B is the primary factor behind the vulnerability. By meticulously analyzing the distinct characteristics of weight distributions across Transformer blocks, we propose a mixed strategy with less than 3% of the layers enabling finer W8A8 quantization granularity, while the remaining 97% of layers retain the per-channel configuration. As a result, the average accuracy of LLaMA3-70B-W8A8 is increased from 45.5% to 73.4% (just 0.7% shy of LLaMA3-70B-FP16) across eight reasoning tasks. Notably, our method requires neither calibration nor fine-tuning.
• Abstract（参考訳）: 我々はLLaMA3/3.1-70BモデルとLLaMA3/3.1-8B/405Bモデルの両方に欠落しているLLaMA3/3.1-70Bモデルに特徴的な量子化関連挙動を観察した。 量子化は、大規模言語モデル(LLM)を効率的にデプロイするための重要なテクニックである。 重みとアクティベーションのための様々なビット幅と表現のうち、8ビット整数重みと8ビット整数アクティベーション(W8A8)の構成は、ハードウェアが広くサポートされているため特に人気がある。 しかし、W8A8後の量子化がモデル精度に与える影響は議論の余地がある。 いくつかの研究は、精度の劣化を軽減するために重みの調整やアクティベーションの調整を提案したが、包括的解はまだ特定されていない。 本稿では,LLaMA3-70B モデルシリーズが,W8A8 チャネル後量子化を用いた一意の精度劣化挙動を有することを発見した。 対照的に、LLaMA2、LLaMA3-8B、Qwen、Mixtral、Mistral、Phi-3、Falconといった他のモデルシリーズはW8A8で堅牢な性能を示し、時にはFP16を上回ります。 その結果,LLaMA3-70Bの重量分布が主な要因であることが示唆された。 トランスフォーマーブロック間の重み分布の異なる特性を巧みに解析することにより、W8A8の量子化粒度をより細かくできる3%未満の層で混合戦略を提案し、残りの97%の層はチャネル単位の構成を維持している。 その結果、LLaMA3-70B-W8A8の平均精度は8つの推論タスクで45.5%から73.4%(LLaMA3-70B-FP16のわずか0.7%)に向上した。 特に,キャリブレーションや微調整は不要である。

関連論文リスト

• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  我々は,学術ベンチマークや実世界のタスクにまたがる一般的な量子化形式を評価する。 W4A16は同期デプロイメントと中間層アーキテクチャの非同期デプロイメントに最適なコスト効率を提供する。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• VPTQ: Extreme Low-bit Vector Post-Training Quantization for Large Language Models [11.708250566573334]
  大規模言語モデル(LLM)の極低ビット量子化のためのベクトル後学習量子化(VPTQ)を導入する。 VPTQはLLaMA-2で0.01$-$0.34$、Mistral-7Bで0.38$-$0.68$、LLaMA-3で4.41$-$7.34$を2ビットで還元する。 また、モデル精度を高め、モデルをさらに圧縮する残差量子化および外れ値量子化をサポートするためにVPTQを拡張した。
  論文  参考訳（メタデータ） (2024-09-25T16:25:45Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs [27.38239289662178]
  学習後量子化(PTQ)は大規模言語モデル(LLM)の効率を向上させる PTQにおける校正セットの役割,特に隠れ活性化に対する効果について検討する。 我々の分析では、利用可能なモデル間で量子化の有効性に顕著なコントラストが示される。
  論文  参考訳（メタデータ） (2024-05-31T14:24:33Z)
• An Empirical Study of LLaMA3 Quantization: From LLMs to MLLMs [54.91212829143966]
  本研究では、LLaMA3の低ビット幅への量子化能力について検討する。 我々は,LLaMA3の1-8ビットおよび多種多様なデータセットに対して,学習後量子化とLLaMA3のLoRAファインタニング法を10種類評価した。 実験の結果,LLaMA3は言語的・視覚的文脈において,相変わらず非言語的劣化をきたしていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-22T10:03:03Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• AWEQ: Post-Training Quantization with Activation-Weight Equalization for Large Language Models [0.18416014644193066]
  AWEQは、超低ビット量子化と8ビット重みとアクティベーション(W8A8)量子化の両方において優れている。 我々はさらに等化法を改良し、量子化バイアスの誤差を軽減し、モデルの堅牢性を確保する。
  論文  参考訳（メタデータ） (2023-11-02T15:18:22Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
  量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。 その動機は量子化と適応の自由の不均衡度にある。 QA-LoRAは数行のコードで簡単に実装できる。
  論文  参考訳（メタデータ） (2023-09-26T07:22:23Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。