論文の概要: Towards Unified INT8 Training for Convolutional Neural Network
- arxiv url: http://arxiv.org/abs/1912.12607v1
- Date: Sun, 29 Dec 2019 08:37:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:37:53.275034
- Title: Towards Unified INT8 Training for Convolutional Neural Network
- Title（参考訳）: 畳み込みニューラルネットワークのための統合INT8トレーニングに向けて
- Authors: Feng Zhu, Ruihao Gong, Fengwei Yu, Xianglong Liu, Yanfei Wang, Zhelong
Li, Xiuqi Yang, Junjie Yan
- Abstract要約: 共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。
まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。
勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
- 参考スコア（独自算出の注目度）: 83.15673050981624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently low-bit (e.g., 8-bit) network quantization has been extensively
studied to accelerate the inference. Besides inference, low-bit training with
quantized gradients can further bring more considerable acceleration, since the
backward process is often computation-intensive. Unfortunately, the
inappropriate quantization of backward propagation usually makes the training
unstable and even crash. There lacks a successful unified low-bit training
framework that can support diverse networks on various tasks. In this paper, we
give an attempt to build a unified 8-bit (INT8) training framework for common
convolutional neural networks from the aspects of both accuracy and speed.
First, we empirically find the four distinctive characteristics of gradients,
which provide us insightful clues for gradient quantization. Then, we
theoretically give an in-depth analysis of the convergence bound and derive two
principles for stable INT8 training. Finally, we propose two universal
techniques, including Direction Sensitive Gradient Clipping that reduces the
direction deviation of gradients and Deviation Counteractive Learning Rate
Scaling that avoids illegal gradient update along the wrong direction. The
experiments show that our unified solution promises accurate and efficient INT8
training for a variety of networks and tasks, including MobileNetV2,
InceptionV3 and object detection that prior studies have never succeeded.
Moreover, it enjoys a strong flexibility to run on off-the-shelf hardware, and
reduces the training time by 22% on Pascal GPU without too much optimization
effort. We believe that this pioneering study will help lead the community
towards a fully unified INT8 training for convolutional neural networks.
- Abstract（参考訳）: 近年、推論を加速するために、低ビット(例:8ビット)ネットワーク量子化が広く研究されている。
推論に加えて、量子化勾配による低ビットトレーニングは、後方プロセスが計算集約的であることが多いため、さらに大きな加速をもたらす可能性がある。
残念ながら、後方伝播の不適切な定量化は、通常トレーニングを不安定にし、クラッシュさせる。
さまざまなタスクで多様なネットワークをサポートする、統一された低ビットトレーニングフレームワークが欠如している。
本稿では,共用畳み込みニューラルネットワークのための統合型8ビット(int8)トレーニングフレームワークの構築を,精度と速度の両面から試みる。
まず,グラデーションの4つの特徴を実験的に把握し,グラデーション量子化に関する洞察に富む手がかりを得る。
そして、理論的に収束境界の深い解析を行い、安定なINT8トレーニングのための2つの原則を導出する。
最後に,傾きの方向ずれを低減させる方向センシティブな勾配クリッピングと,間違った方向に沿って違法な勾配更新を回避した偏差反アクティブ学習率スケーリングという,2つの普遍的な手法を提案する。
実験の結果,MobileNetV2,InceptionV3,オブジェクト検出など,さまざまなネットワークやタスクに対するINT8トレーニングの正確かつ効率的な実現が期待できることがわかった。
さらに、オフザシェルフハードウェア上で実行するための柔軟性も強く、最適化の労力を必要とせず、Pascal GPUでのトレーニング時間を22%削減できる。
この先駆的な研究は、畳み込みニューラルネットワークのための完全に統一されたINT8トレーニングにコミュニティを導くのに役立つと考えています。
関連論文リスト
- Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。
具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文 参考訳（メタデータ） (2024-01-18T11:57:05Z) - Stable and low-precision training for large-scale vision-language models [108.62077651227607]
本稿では,大規模言語ビジョンモデルの学習の高速化と安定化のための新しい手法を提案する。
Int8量子化トレーニングのための線形層であるSwitchBackを導入し,13～25%の高速化を実現した。
安定のために、損失スパイクを解析し、二乗勾配が過小評価された後に連続して1～8回発生することを発見した。
論文 参考訳（メタデータ） (2023-04-25T17:38:18Z) - MetaGrad: Adaptive Gradient Quantization with Hypernetworks [46.55625589293897]
量子化対応トレーニング(QAT)は、ニューラルネットワークのトレーニングと推論の間、前方通過を加速する。
本稿では,ハイパーネットワークを用いた次のトレーニングの計算グラフに勾配を組み込むことで,この問題を解決することを提案する。
CNNネットワークアーキテクチャの異なるCIFAR-10データセットに対する様々な実験により、我々のハイパーネットワークに基づくアプローチは、勾配量子化ノイズの負の効果を効果的に低減できることを示した。
論文 参考訳（メタデータ） (2023-03-04T07:26:34Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Gradient Descent on Neural Networks Typically Occurs at the Edge of
Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。
この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文 参考訳（メタデータ） (2021-02-26T22:08:19Z) - Distribution Adaptive INT8 Quantization for Training CNNs [12.708068468737286]
本稿では,畳み込みニューラルネットワークのための新しいINT8量子化学習フレームワークを提案する。
具体的には, 層幅勾配がチャネル次元に沿って複数の分布を含むという観測に基づいて, 勾配の量子化にグラディエントベクトル化量子化を用いる。
次に、量子化誤差を最小化する際に、勾配の等級を考慮に入れ、マグニチュード対応のクリッピング戦略を導入する。
論文 参考訳（メタデータ） (2021-02-09T11:58:10Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - FrostNet: Towards Quantization-Aware Network Architecture Search [8.713741951284886]
本稿では,フル精度(FLOAT32)と量子化(INT8)の両性能を保証するネットワークを見つけるための新しいネットワークアーキテクチャサーチ(NAS)手法を提案する。
我々のFrostNetsは、量子化時に同等のレイテンシを持つ既存のCNNよりも高い認識精度を実現する。
論文 参考訳（メタデータ） (2020-06-17T06:40:43Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks [13.929168096016957]
本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。
ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。
提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
論文 参考訳（メタデータ） (2020-01-16T06:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。