論文の概要: How Does Calibration Data Affect the Post-training Pruning and
Quantization of Large Language Models?
- arxiv url: http://arxiv.org/abs/2311.09755v1
- Date: Thu, 16 Nov 2023 10:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:11:48.045999
- Title: How Does Calibration Data Affect the Post-training Pruning and
Quantization of Large Language Models?
- Title(参考訳): キャリブレーションデータは大規模言語モデルの学習後処理と量子化にどう影響するか?
- Authors: Miles Williams, Nikolaos Aletras
- Abstract要約: プルーニングと量子化は、ニューラルネットワークのモデル圧縮の基礎となる。
モデル圧縮法におけるキャリブレーションデータの効果に関する実験的検討を行った。
- 参考スコア(独自算出の注目度): 42.652021176354644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning and quantization form the foundation of model compression for neural
networks, enabling efficient inference for large language models (LLMs).
Recently, various quantization and pruning techniques have demonstrated
state-of-the-art performance in a post-training setting. They rely upon
calibration data, a small set of unlabeled examples, to generate layer
activations. However, no prior work has systematically investigated how the
calibration data impacts the effectiveness of model compression methods. In
this paper, we present the first extensive empirical study on the effect of
calibration data upon LLM performance. We trial a variety of pruning and
quantization methods, tasks, models, and datasets. Surprisingly, we find
substantial variations in downstream task performance, contrasting existing
work that suggests a greater level of robustness to the calibration data.
Finally, we make a series of recommendations for the effective use of
calibration data in LLM quantization and pruning.
- Abstract(参考訳): プルーニングと量子化は、ニューラルネットワークのモデル圧縮の基礎を形成し、大きな言語モデル(LLM)の効率的な推論を可能にする。
近年,様々な量子化と刈り取り技術が,訓練後における最先端のパフォーマンスを実証している。
彼らはレイヤーアクティベーションを生成するために、ラベルなしサンプルの小さなセットであるキャリブレーションデータに依存している。
しかし, キャリブレーションデータがモデル圧縮法の有効性に与える影響について, 事前調査は行われていない。
本稿では,キャリブレーションデータによるllm性能への影響について,最初の大規模実験を行った。
我々は、様々なプルーニングおよび量子化手法、タスク、モデル、データセットを試行する。
驚くべきことに、キャリブレーションデータに対するロバスト性の向上を示唆する既存の作業とは対照的に、下流のタスクパフォーマンスにかなりの変化があります。
最後に,LLM量子化およびプルーニングにおけるキャリブレーションデータの有効利用を推奨する。
関連論文リスト
- On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Applying Deep Learning to Calibrate Stochastic Volatility Models [0.0]
我々は、価格バニラヨーロッパオプションに対する微分機械学習(DML)アプローチを開発した。
トレーニングされたニューラルネットワークは、Hestonキャリブレーションの時間を劇的に短縮する。
オーバーフィッティングを減らし、一般化誤差を改善することで、それらの性能を比較する。
論文 参考訳(メタデータ) (2023-09-14T16:38:39Z) - CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain
Performance and Calibration [59.48235003469116]
データの増大はOOD性能を継続的に向上させることを示す。
また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
論文 参考訳(メタデータ) (2023-09-14T16:16:40Z) - Towards Foundation Models for Scientific Machine Learning:
Characterizing Scaling and Transfer Behavior [32.74388989649232]
我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。
これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
論文 参考訳(メタデータ) (2023-06-01T00:32:59Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳(メタデータ) (2023-05-10T11:10:09Z) - On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。
我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
論文 参考訳(メタデータ) (2022-10-10T15:41:44Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。