Fugu-MT 論文翻訳(概要): Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models

論文の概要: Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models

arxiv url: http://arxiv.org/abs/2310.13315v1
Date: Fri, 20 Oct 2023 07:09:56 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 00:06:45.072065
Title: Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models
Title（参考訳）: 事前学習言語モデルのゼロショットシャープネスを考慮した量子化
Authors: Miaoxi Zhu, Qihuang Zhong, Li Shen, Liang Ding, Juhua Liu, Bo Du, Dacheng Tao
Abstract要約: 量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
参考スコア（独自算出の注目度）: 88.80146574509195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantization is a promising approach for reducing memory overhead and accelerating inference, especially in large pre-trained language model (PLM) scenarios. While having no access to original training data due to security and privacy concerns has emerged the demand for zero-shot quantization. Most of the cutting-edge zero-shot quantization methods primarily 1) apply to computer vision tasks, and 2) neglect of overfitting problem in the generative adversarial learning process, leading to sub-optimal performance. Motivated by this, we propose a novel zero-shot sharpness-aware quantization (ZSAQ) framework for the zero-shot quantization of various PLMs. The key algorithm in solving ZSAQ is the SAM-SGA optimization, which aims to improve the quantization accuracy and model generalization via optimizing a minimax problem. We theoretically prove the convergence rate for the minimax optimization problem and this result can be applied to other nonconvex-PL minimax optimization frameworks. Extensive experiments on 11 tasks demonstrate that our method brings consistent and significant performance gains on both discriminative and generative PLMs, i.e., up to +6.98 average score. Furthermore, we empirically validate that our method can effectively improve the model generalization.
Abstract（参考訳）: 量子化は、特に大規模事前学習言語モデル(plm)シナリオにおいて、メモリオーバヘッドの削減と推論の高速化に有望なアプローチである。セキュリティとプライバシに関する懸念から、オリジナルのトレーニングデータにアクセスできないが、ゼロショット量子化の需要が浮上している。最先端ゼロショット量子化法のほとんどが主に 1)コンピュータビジョンタスクに適用し、 2) 生成的逆学習過程における過剰フィッティング問題の無視は, 下位最適性能に繋がる。そこで本研究では,様々なplmのゼロショット量子化のための新しいゼロショットシャープネスアウェア量子化(zsaq)フレームワークを提案する。 ZSAQの鍵となるアルゴリズムはSAM-SGA最適化であり、ミニマックス問題を最適化することで量子化精度とモデルの一般化を改善することを目的としている。理論上、ミニマックス最適化問題の収束率を証明し、この結果は他の非凸plミニマックス最適化フレームワークに適用できる。 11のタスクに対する大規模な実験により、我々の手法は差別的PLMと生成的PLMの両方、すなわち+6.98の平均スコアに対して、一貫性と顕著なパフォーマンス向上をもたらすことを示した。さらに,本手法がモデル一般化を効果的に改善できることを実証的に検証した。

関連論文リスト

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
Gradient Multi-Normalization for Stateless and Scalable LLM Training [16.037614012166063]
大規模言語モデル(LLM)のトレーニングは通常、コンバージェンスを加速するために追加のステート情報を格納するAdamのようなアダプティブに依存している。 SWAN (Ma et al., 2024) のような最近の取り組みは、状態の必要性を排除し、瞬時勾配に適用したマルチステップ前処理手順により、Adamに匹敵する性能を達成することでこの問題に対処している。複数の基準に従って勾配を正規化するステートレス勾配を設計するための新しいフレームワークを導入する。最大10億のパラメータを持つ事前学習LLaMAモデルの実験は、Adamよりも3倍のスピードアップを示し、メモリ要求を大幅に削減し、他のメモリ効率のベースラインを上回っている。
論文参考訳（メタデータ） (2025-02-10T18:09:53Z)
ZOQO: Zero-Order Quantized Optimization [31.43307762723943]
本稿では,ゼロ次量子化最適化法 (ZOQO) を提案する。本手法では, 勾配符号のゼロ次近似を活用し, パラメータの量子化を完全精度勾配計算を必要とせずに, 学習プロセスに適応させる。
論文参考訳（メタデータ） (2025-01-12T07:15:55Z)
AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning [22.950914612765494]
微調整型大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。メモリ効率のゼロ階数法(MeZO)は、前方通過のみを使用してLPMを微調整しようとするため、バックプロパゲーショングラフは不要である。本稿では,ZO手法の性能と収束性を改善するために,AdaZeta(Adaptive Zeroth-order-Train Adaption)フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-26T04:33:13Z)
A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文参考訳（メタデータ） (2024-06-06T01:52:09Z)
QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文参考訳（メタデータ） (2023-09-05T01:39:09Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文参考訳（メタデータ） (2021-09-14T17:12:20Z)
Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
論文参考訳（メタデータ） (2020-10-03T19:02:10Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。