Fugu-MT 論文翻訳(概要): How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training

論文の概要: How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training

arxiv url: http://arxiv.org/abs/2404.16898v1
Date: Thu, 25 Apr 2024 06:58:16 GMT
ステータス: 処理完了
システム内更新日: 2024-04-29 15:03:56.055246
Title: How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training
Title（参考訳）: 量子化学習のための非対称量子化範囲のパラメータ化法
Authors: Jaeseong You, Minseop Park, Kyunggeun Lee, Seokjun An, Chirag Patel, Markus Nage,
Abstract要約: 本稿では、量子化学習のための非対称均一量子化の3つの異なるパラメータ化について検討する。本研究では,学習可能な非対称量子化範囲を用いた量子化学習の安定化と高速化のためのベストプラクティスを提案する。
参考スコア（独自算出の注目度）: 1.721868124457512
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates three different parameterizations of asymmetric uniform quantization for quantization-aware training: (1) scale and offset, (2) minimum and maximum, and (3) beta and gamma. We perform a comprehensive comparative analysis of these parameterizations' influence on quantization-aware training, using both controlled experiments and real-world large language models. Our particular focus is on their changing behavior in response to critical training hyperparameters, bit width and learning rate. Based on our investigation, we propose best practices to stabilize and accelerate quantization-aware training with learnable asymmetric quantization ranges.
Abstract（参考訳）: 本稿では,(1)尺度とオフセット,(2)最小値と最大値,(3)ベータ値とガンマ値の3つのパラメータ化について検討する。我々は、制御実験と実世界の大言語モデルの両方を用いて、これらのパラメータ化が量子化認識トレーニングに与える影響を包括的に比較分析する。我々の特に焦点は、臨界トレーニングハイパーパラメータ、ビット幅、学習率に応じて行動を変えることである。本研究は,学習可能な非対称量子化範囲を用いた量子化学習の安定化と高速化のためのベストプラクティスを提案する。

関連論文リスト

Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文参考訳（メタデータ） (2024-07-08T12:32:51Z)
WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
論文参考訳（メタデータ） (2024-02-19T11:33:21Z)
Effect of Weight Quantization on Learning Models by Typical Case Analysis [6.9060054915724]
最近のデータ分析スケールの急増は、計算リソースの要求を大幅に増加させた。量子化は、限られた計算資源を持つデバイスに大規模なモデルをデプロイするのに不可欠である。
論文参考訳（メタデータ） (2024-01-30T18:58:46Z)
Supervised learning for robust quantum control in composite-pulse systems [7.474008952791777]
複合パルスシステムにおける堅牢な量子制御を実現するための教師付き学習モデルを開発した。このモデルは、単一、複数、時間変化のあるエラーを含む、あらゆる種類の体系的エラーに対して大きな抵抗を示す。この研究は、様々な物理パラメータをトレーニングすることで、フォールトトレラント量子計算のための高効率な学習モデルを提供する。
論文参考訳（メタデータ） (2023-08-23T01:37:13Z)
PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文参考訳（メタデータ） (2023-05-30T08:41:33Z)
Variational quantum metrology for multiparameter estimation under dephasing noise [0.8594140167290099]
本稿では,量子気象学の精度を高めるために,ハイブリッド量子古典変分法を提案する。本稿では,複数のデフォーカスノイズモード下での3次元磁界センサへの応用について論じる。
論文参考訳（メタデータ） (2023-05-15T01:09:58Z)
Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文参考訳（メタデータ） (2022-09-09T14:58:43Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
Dimensional Expressivity Analysis of Parametric Quantum Circuits [0.0]
本稿では,量子ハードウェアを用いた表現率解析を効率的に実装する方法を示す。また、対称性の効果について議論し、パラメタライズされたアンザッツから対称性を組み込んだり取り除いたりする方法を実証する。
論文参考訳（メタデータ） (2020-11-06T18:59:04Z)
Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
論文参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。