論文の概要: GWQ: Gradient-Aware Weight Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.00850v3
• Date: Wed, 09 Apr 2025 09:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:06.049686
• Title: GWQ: Gradient-Aware Weight Quantization for Large Language Models
• Title（参考訳）: GWQ:大規模言語モデルのためのグラディエント・アウェアウェイト量子化
• Authors: Yihua Shao, Yan Gu, Siyu Chen, Haiyang Liu, Zijian Ling, Minxi Yan, Ziyang Yan, Chenyu Zhang, Michele Magno, Haotong Qin, Yan Wang, Jingcai Guo, Ling Shao, Hao Tang,
• Abstract要約: 大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
• 参考スコア（独自算出の注目度）: 57.38479416921167
• License:
• Abstract: Large language models (LLMs) show impressive performance in solving complex language tasks. However, its large number of parameters presents significant challenges for the deployment. So, compressing LLMs to low bits can enable to deploy on resource-constrained devices. To address this problem, we propose gradient-aware weight quantization (GWQ), the first quantization approach for low-bit weight quantization that leverages gradients to localize outliers, requiring only a minimal amount of calibration data for outlier detection. GWQ retains the top 1\% outliers preferentially at FP16 precision, while the remaining non-outlier weights are stored in a low-bit. We widely evaluate GWQ on different task include language modeling, grounding detection, massive multitask language understanding and vision-language question and answering. Results show that models quantified by GWQ performs better than other quantization method. During quantization process, GWQ only need one calibration set to realize effective quant. Also, GWQ achieves 1.2x inference speedup in comparison to the original model and effectively reduces the inference memory.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 しかし、その多数のパラメータは、デプロイメントに重大な課題をもたらしている。 したがって、LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイすることができる。 この問題に対処するために,低ビット量量子化のための最初の量子化手法であるグラデーション・アウェア・ウェイト量子化(GWQ)を提案する。 GWQはFP16精度で上位1\%の外れ値を保持し、残りの非外れ値の重みは低ビットに格納される。 我々は,言語モデリング,接地検出,大規模マルチタスク言語理解,視覚言語質問・回答など,さまざまなタスクにおけるGWQを広く評価する。 その結果、GWQにより定量化されたモデルは、他の量子化法よりも優れた性能を示した。 量子化プロセスの間、GWQは有効な量子を実現するために1つのキャリブレーションセットしか必要としない。 また、GWQは、元のモデルと比較して1.2倍の推論高速化を実現し、推論メモリを効果的に削減する。

関連論文リスト

• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• QERA: an Analytical Framework for Quantization Error Reconstruction [12.110441045050223]
  重みを極めて低い精度に定量化することへの関心が高まり、結果として生じる誤差を低ランクで高精度なエラー再構成項で相殺する。 量子化と低ランク近似の組み合わせは、アダプタベースのパラメータ効率の微調整法の両方で人気がある。 本稿では,QERA(Quantization Error Reconstruction Analysis)という解析フレームワークを定式化し,その問題に対するクローズドフォームのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-08T13:37:34Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)
• Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization [62.15918574997175]
  言語モデルには、平均値が他のチャネルよりも桁違いに高い外れ値チャネルが含まれていることが知られている。 本稿では,QAT(Quantization-Aware Training)とアクティベーション・カルトシス・正規化(Activation Kurtosis regularization)によって,レイヤの入力を正規化する戦略を提案する。 入力と出力の両方を正規化することは、入力量子化の難しさを重みに"移行"するのを防ぐために重要であることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:25:30Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• OWQ: Outlier-Aware Weight Quantization for Efficient Fine-Tuning and Inference of Large Language Models [15.461748851931588]
  outlier-aware weight Quantization (OWQ)メソッドは、低精度表現によって大きな言語モデルのフットプリントを最小化する。 OWQは、量子化に敏感な構造的重みの小さなサブセットを優先順位付けし、それらを高精度に保存し、残りの高密度重みに高度に調整された量子化を適用する。 OWQを用いた3.1ビットモデルは、OPTQによって最適化された4ビットモデルと互換性があることを示した。
  論文  参考訳（メタデータ） (2023-06-04T06:33:13Z)
• RAND: Robustness Aware Norm Decay For Quantized Seq2seq Models [14.07649230604283]
  モデル精度を向上させるために,量子化意識トレーニング(QAT)プロセスに対する低複雑性な変更を提案する。 精度が向上し、ノイズベースのQATの他の利点を活用できるようになる。
  論文  参考訳（メタデータ） (2023-05-24T19:45:56Z)
• ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation [24.34969722921442]
  学習後量子化(PTQ)は、大規模言語モデル(LLM)におけるメモリ消費と計算コストを緩和する有望な手法として登場した。 我々は、PTQが重量のみ、活性化のみ、および重量と活性化の量子化に与える影響を調査し、これらの要因を包括的に分析する。 モデルサイズが最小限に抑えられたモデル品質回復を実現するために,Loll-Rank Compensation (LoRC) という最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-03-15T01:27:15Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。