論文の概要: A Statistical Framework for Low-bitwidth Training of Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2010.14298v1
- Date: Tue, 27 Oct 2020 13:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 11:32:57.841610
- Title: A Statistical Framework for Low-bitwidth Training of Deep Neural
Networks
- Title(参考訳): ディープニューラルネットワークの低ビット幅トレーニングのための統計的枠組み
- Authors: Jianfei Chen, Yu Gai, Zhewei Yao, Michael W. Mahoney, Joseph E.
Gonzalez
- Abstract要約: フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。
FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
- 参考スコア(独自算出の注目度): 70.77754244060384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully quantized training (FQT), which uses low-bitwidth hardware by
quantizing the activations, weights, and gradients of a neural network model,
is a promising approach to accelerate the training of deep neural networks. One
major challenge with FQT is the lack of theoretical understanding, in
particular of how gradient quantization impacts convergence properties. In this
paper, we address this problem by presenting a statistical framework for
analyzing FQT algorithms. We view the quantized gradient of FQT as a stochastic
estimator of its full precision counterpart, a procedure known as
quantization-aware training (QAT). We show that the FQT gradient is an unbiased
estimator of the QAT gradient, and we discuss the impact of gradient
quantization on its variance. Inspired by these theoretical results, we develop
two novel gradient quantizers, and we show that these have smaller variance
than the existing per-tensor quantizer. For training ResNet-50 on ImageNet, our
5-bit block Householder quantizer achieves only 0.5% validation accuracy loss
relative to QAT, comparable to the existing INT8 baseline.
- Abstract(参考訳): ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅ハードウェアを使用するフル量子化トレーニング(FQT)は、ディープニューラルネットワークのトレーニングを加速するための有望なアプローチである。
FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
本稿では,FQTアルゴリズムを解析するための統計的枠組みを提示することにより,この問題に対処する。
我々は、FQTの量子化勾配を、その完全精度の確率的推定量、すなわち量子化認識訓練(QAT)と呼ばれる手順と見なしている。
我々は, FQT勾配がQAT勾配の偏りのない推定器であることを示し, その分散に対する勾配量子化の影響について論じる。
これらの理論結果に触発されて、2つの新しい勾配量子化器を開発し、既存のテンソル単位の量子化器よりも分散が小さいことを示す。
ImageNet上のResNet-50のトレーニングでは、既存のINT8ベースラインに匹敵する、QATに対するバリデーション精度の損失がわずか0.5%である。
関連論文リスト
- Designing strong baselines for ternary neural network quantization
through support and mass equalization [7.971065005161565]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。
浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。
提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-30T07:35:07Z) - Pre-training Tensor-Train Networks Facilitates Machine Learning with
Variational Quantum Circuits [83.79664725059877]
変分量子回路(VQC)は、ノイズの多い量子デバイス上で量子ニューラルネットワークを実装するための有望なアプローチである。
近年の研究では、VQCのテンソルトレインネットワーク(TTN)、すなわちTTN-VQCがVQCの表現と一般化能力を改善することが示されている。
本稿では, TTN-VQCアーキテクチャをベースとした学習手法であるPre+TTN-VQCを提案する。
論文 参考訳(メタデータ) (2023-05-18T03:08:18Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Theoretical Error Performance Analysis for Variational Quantum Circuit
Based Functional Regression [83.79664725059877]
本研究では,次元減少と機能回帰のためのエンドツーエンドの量子ニューラルネットワークであるTTN-VQCを提案する。
また,polyak-Lojasiewicz (PL) 条件を利用してTTN-VQCの最適化特性を特徴付ける。
論文 参考訳(メタデータ) (2022-06-08T06:54:07Z) - On-chip QNN: Towards Efficient On-Chip Training of Quantum Neural
Networks [21.833693982056896]
そこで本研究では,パラメータシフトを用いた実践的なQNNトレーニングの実証実験であるOn-chip QNNを提案する。
確率的勾配プルーニング(probabilistic gradient pruning)を提案する。
その結果,2クラス,4クラスの画像分類作業において,チップ上でのトレーニングは90%以上,60%以上の精度で達成できた。
論文 参考訳(メタデータ) (2022-02-26T22:27:36Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳(メタデータ) (2022-01-26T18:47:38Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳(メタデータ) (2021-09-05T15:15:07Z) - A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。
我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文 参考訳(メタデータ) (2021-06-15T17:12:42Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳(メタデータ) (2020-12-21T10:19:42Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳(メタデータ) (2020-12-10T09:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。