論文の概要: Logarithmic Unbiased Quantization: Practical 4-bit Training in Deep
Learning
- arxiv url: http://arxiv.org/abs/2112.10769v1
- Date: Sun, 19 Dec 2021 14:16:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 02:36:22.713390
- Title: Logarithmic Unbiased Quantization: Practical 4-bit Training in Deep
Learning
- Title(参考訳): logarithmic unbiased quantization: ディープラーニングにおける実践的4ビットトレーニング
- Authors: Brian Chmiel, Ron Banner, Elad Hoffer, Hilla Ben Yaacov, Daniel Soudry
- Abstract要約: 重みとアクティベーションの量子化は、ディープニューラルネットワーク(DNN)トレーニングの計算フットプリントを削減する主要な方法の1つである。
前方と後方の両方の位相を4ビットに定量化するために、$textitlogarithmic unbiased Quantization$ (LUQ)法を提案する。
- 参考スコア(独自算出の注目度): 36.891508840429516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantization of the weights and activations is one of the main methods to
reduce the computational footprint of Deep Neural Networks (DNNs) training.
Current methods enable 4-bit quantization of the forward phase. However, this
constitutes only a third of the training process. Reducing the computational
footprint of the entire training process requires the quantization of the
neural gradients, i.e., the loss gradients with respect to the outputs of
intermediate neural layers. In this work, we examine the importance of having
unbiased quantization in quantized neural network training, where to maintain
it, and how. Based on this, we suggest a $\textit{logarithmic unbiased
quantization}$ (LUQ) method to quantize both the forward and backward phase to
4-bit, achieving state-of-the-art results in 4-bit training without overhead.
For example, in ResNet50 on ImageNet, we achieved a degradation of 1.18%. We
further improve this to degradation of only 0.64% after a single epoch of high
precision fine-tuning combined with a variance reduction method -- both add
overhead comparable to previously suggested methods. Finally, we suggest a
method that uses the low precision format to avoid multiplications during
two-thirds of the training process, thus reducing by 5x the area used by the
multiplier.
- Abstract(参考訳): 重みとアクティベーションの量子化は、ディープニューラルネットワーク(DNN)トレーニングの計算フットプリントを削減する主要な方法の1つである。
現在の方法は前フェーズの4ビット量子化を可能にする。
しかし、これはトレーニングプロセスの3分の1に過ぎない。
トレーニングプロセス全体の計算フットプリントを削減するには、中間的な神経層の出力に対する損失勾配というニューラルネットワーク勾配の量子化が必要である。
本研究では,量子化ニューラルネットワークトレーニングにおける非バイアス量子化の重要性,その維持方法,その方法について検討する。
これに基づいて、前と後の両方の位相を4ビットに定量化するための$\textit{logarithmic unbiased Quantization}$ (LUQ)法を提案する。
例えば、ImageNetのResNet50では、1.18%の劣化を達成した。
さらに, 高精度微調整と分散低減法を併用した単一エポック後の0.64%の劣化に改善し, いずれも従来提案した手法に匹敵するオーバヘッドを付加する。
最後に,学習過程の3分の2における乗算を避けるために,低精度の形式を用いる手法を提案し,乗算器が使用する面積を5倍削減する。
関連論文リスト
- Training Transformers with 4-bit Integers [21.861232105539933]
4ビットへのアクティベーション、ウェイト、勾配の量子化は、ニューラルネットワークのトレーニングを加速することを約束している。
既存の4ビットのトレーニング方法は、現代のハードウェアではサポートされていないカスタムの数値形式を必要とする。
本研究では,INT4演算で実装されたすべての行列乗算を用いた変圧器の訓練手法を提案する。
論文 参考訳(メタデータ) (2023-06-21T02:45:01Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳(メタデータ) (2023-02-28T05:01:01Z) - LG-LSQ: Learned Gradient Linear Symmetric Quantization [3.6816597150770387]
精度の低いディープニューラルネットワークは、メモリスペースとアクセルパワーのコストの観点から利点がある。
量子化アルゴリズムに関連する主な課題は、低ビット幅での精度を維持することである。
低ビット幅での重みと活性化関数の定量化手法として、学習された勾配線形量子化(LG-LSQ)を提案する。
論文 参考訳(メタデータ) (2022-02-18T03:38:12Z) - n-hot: Efficient bit-level sparsity for powers-of-two neural network
quantization [0.0]
パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。
PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。
メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
論文 参考訳(メタデータ) (2021-03-22T10:13:12Z) - Direct Quantization for Training Highly Accurate Low Bit-width Deep
Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。
まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。
第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文 参考訳(メタデータ) (2020-12-26T15:21:18Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳(メタデータ) (2020-12-21T10:19:42Z) - Neural gradients are near-lognormal: improved quantized and sparse
training [35.28451407313548]
神経勾配の分布は概ね対数正規である。
神経勾配の計算と記憶の負担を軽減するための2つの閉形式解析法を提案する。
我々の知る限り,本論文は,(1)6ビット浮動小数点形式への勾配の定量化,あるいは(2)精度の低い場合において,最大85%の勾配間隔を達成した最初の論文である。
論文 参考訳(メタデータ) (2020-06-15T07:00:15Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳(メタデータ) (2020-04-20T02:40:43Z) - Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks [13.929168096016957]
本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。
ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。
提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
論文 参考訳(メタデータ) (2020-01-16T06:38:27Z) - Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。
まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。
勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
論文 参考訳(メタデータ) (2019-12-29T08:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。