Fugu-MT 論文翻訳(概要): OAC: Output-adaptive Calibration for Accurate Post-training Quantization

論文の概要: OAC: Output-adaptive Calibration for Accurate Post-training Quantization

arxiv url: http://arxiv.org/abs/2405.15025v1
Date: Thu, 23 May 2024 20:01:17 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 19:07:30.329512
Title: OAC: Output-adaptive Calibration for Accurate Post-training Quantization
Title（参考訳）: OAC: 正確なポストトレーニング量子化のための出力適応校正
Authors: Ali Edalati, Alireza Ghaffari, Masoud Asgharian, Lu Hou, Boxing Chen, Vahid Partovi Nia,
Abstract要約: 大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。ほとんどのPTQは、キャリブレーションされた層単位で$ell$損失に基づいて量子化誤差を定式化する。キャリブレーションプロセスにモデル出力を組み込むための出力適応型(OAC)を提案する。
参考スコア（独自算出の注目度）: 30.115888331426515
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deployment of Large Language Models (LLMs) has major computational costs, due to their rapidly expanding size. Compression of LLMs reduces the memory footprint, latency, and energy required for their inference. Post-training Quantization (PTQ) techniques have been developed to compress LLMs while avoiding expensive re-training. Most PTQ approaches formulate the quantization error based on a layer-wise $\ell_2$ loss, ignoring the model output. Then, each layer is calibrated using its layer-wise Hessian to update the weights towards minimizing the $\ell_2$ quantization error. The Hessian is also used for detecting the most salient weights to quantization. Such PTQ approaches are prone to accuracy drop in low-precision quantization. We propose Output-adaptive Calibration (OAC) to incorporate the model output in the calibration process. We formulate the quantization error based on the distortion of the output cross-entropy loss. OAC approximates the output-adaptive Hessian for each layer under reasonable assumptions to reduce the computational complexity. The output-adaptive Hessians are used to update the weight matrices and detect the salient weights towards maintaining the model output. Our proposed method outperforms the state-of-the-art baselines such as SpQR and BiLLM, especially, at extreme low-precision (2-bit and binary) quantization.
Abstract（参考訳）: LLM(Large Language Models)の展開には、その規模が急速に拡大しているため、大きな計算コストがかかる。 LLMの圧縮により、推論に必要なメモリフットプリント、レイテンシ、エネルギーが削減される。ポストトレーニング量子化(PTQ)技術は、高価な再トレーニングを避けながらLLMを圧縮するために開発されている。ほとんどのPTQは、モデル出力を無視して層単位で$\ell_2$損失に基づいて量子化誤差を定式化する。次に、各層をその層ワイド・ヘッセンを用いて校正し、$\ell_2$量子化誤差を最小化するための重みを更新する。ヘシアンは量子化の最も顕著な重量を検出するためにも用いられる。このようなPTQアプローチは、低精度量子化の精度低下を招く。キャリブレーションプロセスにモデル出力を組み込むための出力適応校正(OAC)を提案する。出力のクロスエントロピー損失の歪みに基づいて量子化誤差を定式化する。 OACは計算複雑性を減らすために、各層に対する出力適応ヘッセンを合理的な仮定で近似する。出力適応型ヘッセンは、重量行列を更新し、モデル出力の維持に向けた塩分重量を検出するために使用される。提案手法は,SpQRやBiLLMのような最先端のベースライン,特に極低精度(2ビット,バイナリ)量子化において性能を向上する。

関連論文リスト

GWQ: Gradient-Aware Weight Quantization for Large Language Models [61.17678373122165]
勾配対応重み量子化(GWQ)は、勾配を利用して外れ値の局所化を行う、低ビット重み量子化のための最初の量子化手法である。 GWQはFP16精度で上位1%の外れ値に対応し、残りの非外れ値重みは低ビットフォーマットで格納される。ゼロショットタスクでは、GWQ量子化モデルは他の量子化法よりも精度が高い。
論文参考訳（メタデータ） (2024-10-30T11:16:04Z)
FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高めるための新しいポストトレーニング量子化手法であるFlatQuantを提案する。提案手法では,各線形層に配向した最適アフィン変換を,軽量な対象ランタイムを介して数時間で校正する。推論レイテンシーのために、FlatQuantは、プリ量子化変換によって引き起こされる遅延を、QuatRotの0.26xから単に$textbf0.07x$に減らし、プリフィルの$textbf2.3x$とデコードのための$textbf1.7x$のスピードアップをもたらす。
論文参考訳（メタデータ） (2024-10-12T08:10:28Z)
QERA: an Analytical Framework for Quantization Error Reconstruction [12.110441045050223]
重みを極めて低い精度に定量化することへの関心が高まり、結果として生じる誤差を低ランクで高精度なエラー再構成項で相殺する。量子化と低ランク近似の組み合わせは、アダプタベースのパラメータ効率の微調整法の両方で人気がある。本稿では,QERA(Quantization Error Reconstruction Analysis)という解析フレームワークを定式化し,その問題に対するクローズドフォームのソリューションを提供する。
論文参考訳（メタデータ） (2024-10-08T13:37:34Z)
ERQ: Error Reduction for Post-Training Quantization of Vision Transformers [48.740630807085566]
視覚変換器(ViT)のPTQ(Post-training Quantization)は,圧縮モデルの効率性から注目されている。本稿では,活性化と重み量子化に起因する量子化誤差を逐次低減する2段階のPTQ手法であるERQを提案する。 ERQはW3A4 ViT-Sの精度を22.36%上回っている。
論文参考訳（メタデータ） (2024-07-09T12:06:03Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [67.67135738642547]
後学習量子化(PTQ)は、大規模言語モデル(LLM)において研究される強力な圧縮手法である。既存のPTQ法は、特に4ビット幅以下では、精度と効率の点で理想的ではない。本稿では,LSM,すなわちSliM-LLMに対するSalience-Driven Mixed-Precision Quantizationスキームを提案する。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs [22.25748046511075]
AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法であるキャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
論文参考訳（メタデータ） (2024-05-22T05:32:11Z)
WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
論文参考訳（メタデータ） (2024-02-19T11:33:21Z)
A2Q+: Improving Accumulator-Aware Weight Quantization [45.14832807541816]
量子化技術は一般的に、重みとアクティベーションの精度を制限することにより、ニューラルネットワークの推論コストを削減している。最近の研究は、トレーニング中にモデルの重みを制約し、推論中にターゲットのアキュムレータビット幅を安全に使用するための量子化対応トレーニング手法である、アキュムレータ対応量子化(A2Q)を提案する。我々は、事前訓練された浮動小数点チェックポイントから量子化重みを初期化する新しい戦略であるA2Q+を紹介する。
論文参考訳（メタデータ） (2024-01-19T00:27:34Z)
Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
論文参考訳（メタデータ） (2023-09-06T06:51:15Z)
The Accuracy vs. Sampling Overhead Trade-off in Quantum Error Mitigation Using Monte Carlo-Based Channel Inversion [84.66087478797475]
量子誤差緩和(Quantum error mitigation, QEM)は、変分量子アルゴリズムの計算誤差を低減するための有望な手法の1つである。我々はモンテカルロサンプリングに基づく実用的なチャネル反転戦略を考察し、さらなる計算誤差を導入する。計算誤差が誤差のない結果の動的範囲と比較して小さい場合、ゲート数の平方根でスケールすることを示す。
論文参考訳（メタデータ） (2022-01-20T00:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。