論文の概要: AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs
- arxiv url: http://arxiv.org/abs/2405.13358v1
- Date: Wed, 22 May 2024 05:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 01:14:40.791033
- Title: AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs
- Title（参考訳）: AdpQ: LLMのゼロショット校正自由適応ポストトレーニング量子化法
- Authors: Alireza Ghaffari, Sharareh Younesian, Vahid Partovi Nia, Boxing Chen, Masoud Asgharian,
- Abstract要約: AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法である
キャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。
その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
- 参考スコア（独自算出の注目度）: 22.25748046511075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ever-growing computational complexity of Large Language Models (LLMs) necessitates efficient deployment strategies. The current state-of-the-art approaches for Post-training Quantization (PTQ) often require calibration to achieve the desired accuracy. This paper presents AdpQ, a novel zero-shot adaptive PTQ method for LLMs that achieves the state-of-the-art performance in low-precision quantization (e.g. 3-bit) without requiring any calibration data. Inspired by Adaptive LASSO regression model, our proposed approach tackles the challenge of outlier activations by separating salient weights using an adaptive soft-thresholding method. Guided by Adaptive LASSO, this method ensures that the quantized weights distribution closely follows the originally trained weights and eliminates the need for calibration data entirely, setting our method apart from popular approaches such as SpQR and AWQ. Furthermore, our method offers an additional benefit in terms of privacy preservation by eliminating any calibration or training data. We also delve deeper into the information-theoretic underpinnings of the proposed method. We demonstrate that it leverages the Adaptive LASSO to minimize the Kullback-Leibler divergence between the quantized weights and the originally trained weights. This minimization ensures the quantized model retains the Shannon information content of the original model to a great extent, guaranteeing efficient deployment without sacrificing accuracy or information. Our results achieve the same accuracy as the existing methods on various LLM benchmarks while the quantization time is reduced by at least 10x, solidifying our contribution to efficient and privacy-preserving LLM deployment.
- Abstract（参考訳）: LLM(Large Language Models)の継続的な計算複雑性は、効率的なデプロイメント戦略を必要とする。
ポストトレーニング量子化(PTQ)に対する現在の最先端のアプローチは、しばしば所望の精度を達成するためにキャリブレーションを必要とする。
本稿では, キャリブレーションデータを必要としない低精度量子化(eg-3bit)における最先端性能を実現する, LLMのゼロショット適応型PTQ手法であるAdpQを提案する。
適応型LASSO回帰モデルにインスパイアされた提案手法は,適応型ソフトスレッショルド法を用いてサリエントウェイトを分離することにより,オフリヤアクティベーションの課題に対処する。
Adaptive LASSOによって導かれたこの手法は、量子化された重み分布がもともと訓練された重みに密接に従うことを保証し、キャリブレーションデータを完全に排除し、SpQRやAWQのような一般的なアプローチとは分離する。
さらに, キャリブレーションやトレーニングデータを排除することにより, プライバシー保護の観点からさらなるメリットが得られる。
また,提案手法の情報理論的基盤を深く掘り下げる。
我々は、適応LASSOを利用して、量子化された重みと元々訓練された重みの間のクルバック・リーブラーのばらつきを最小化することを示した。
この最小化は、量子化されたモデルが元のモデルのシャノン情報内容を大幅に保持し、精度や情報を犠牲にすることなく効率的な配置を保証する。
その結果,従来のLLMベンチマークと同様の精度が得られ,量子化時間も少なくとも10倍削減され,LLMの効率とプライバシ保護への貢献が確固たるものとなった。
関連論文リスト
- Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。
この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文 参考訳（メタデータ） (2024-11-26T15:35:44Z) - A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳（メタデータ） (2024-10-24T14:31:52Z) - SLiM: One-shot Quantized Sparse Plus Low-rank Approximation of LLMs [2.7624021966289605]
大規模言語モデル(LLM)は、自然言語の理解と生成タスクに革命をもたらした。
LLMは、大きなパラメータサイズのため、メモリ消費が高く、推論時間が遅い。
本稿では,1ショットの量子スパースプラス低ランク近似を用いたLEMの圧縮手法であるSLiMを紹介する。
論文 参考訳（メタデータ） (2024-10-12T18:36:07Z) - Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。
提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文 参考訳（メタデータ） (2024-10-07T23:38:58Z) - Continuous Approximations for Improving Quantization Aware Training of LLMs [4.435218424434634]
実効的なモデル圧縮手法である量子化アウェアトレーニング(QAT)を提案し,量子化後の性能劣化を低減する。
本稿では, 伝統的にSTE (Straight-Through Estimator) とクランプ関数によって近似された, 丸み関数上のQAT過程に対する2つの連続近似を導入する。
両方の手法を適用することで、量子化モデルのWikiText-v2データセット上のパープレキシティ(PPL)は9.0815に達し、ベースラインで9.9621を上回った。
論文 参考訳（メタデータ） (2024-10-06T04:33:06Z) - OAC: Output-adaptive Calibration for Accurate Post-training Quantization [30.115888331426515]
大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。
ほとんどのPTQは、キャリブレーションされた層単位で$ell$損失に基づいて量子化誤差を定式化する。
キャリブレーションプロセスにモデル出力を組み込むための出力適応型(OAC)を提案する。
論文 参考訳（メタデータ） (2024-05-23T20:01:17Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。
既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。
本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - WKVQuant: Quantizing Weight and Key/Value Cache for Large Language
Models Gains More [55.0856305773081]
大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。
本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
論文 参考訳（メタデータ） (2024-02-19T11:33:21Z) - Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。
種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-20T07:09:56Z) - Norm Tweaking: High-performance Low-bit Quantization of Large Language
Models [21.855106896725598]
そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。
本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。
私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
論文 参考訳（メタデータ） (2023-09-06T06:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。