論文の概要: Distribution Adaptive INT8 Quantization for Training CNNs

• arxiv url: http://arxiv.org/abs/2102.04782v1
• Date: Tue, 9 Feb 2021 11:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 15:20:02.347317
• Title: Distribution Adaptive INT8 Quantization for Training CNNs
• Title（参考訳）: CNN学習のための分布適応INT8量子化
• Authors: Kang Zhao, Sida Huang, Pan Pan, Yinghan Li, Yingya Zhang, Zhenyu Gu, Yinghui Xu
• Abstract要約: 本稿では,畳み込みニューラルネットワークのための新しいINT8量子化学習フレームワークを提案する。 具体的には, 層幅勾配がチャネル次元に沿って複数の分布を含むという観測に基づいて, 勾配の量子化にグラディエントベクトル化量子化を用いる。 次に、量子化誤差を最小化する際に、勾配の等級を考慮に入れ、マグニチュード対応のクリッピング戦略を導入する。
• 参考スコア（独自算出の注目度）: 12.708068468737286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Researches have demonstrated that low bit-width (e.g., INT8) quantization can be employed to accelerate the inference process. It makes the gradient quantization very promising since the backward propagation requires approximately twice more computation than forward one. Due to the variability and uncertainty of gradient distribution, a lot of methods have been proposed to attain training stability. However, most of them ignore the channel-wise gradient distributions and the impact of gradients with different magnitudes, resulting in the degradation of final accuracy. In this paper, we propose a novel INT8 quantization training framework for convolutional neural network to address the above issues. Specifically, we adopt Gradient Vectorized Quantization to quantize the gradient, based on the observation that layer-wise gradients contain multiple distributions along the channel dimension. Then, Magnitude-aware Clipping Strategy is introduced by taking the magnitudes of gradients into consideration when minimizing the quantization error, and we present a theoretical derivation to solve the quantization parameters of different distributions. Experimental results on broad range of computer vision tasks, such as image classification, object detection and video classification, demonstrate that the proposed Distribution Adaptive INT8 Quantization training method has achieved almost lossless training accuracy for different backbones, including ResNet, MobileNetV2, InceptionV3, VGG and AlexNet, which is superior to the state-of-the-art techniques. Moreover, we further implement the INT8 kernel that can accelerate the training iteration more than 200% under the latest Turing architecture, i.e., our method excels on both training accuracy and speed.
• Abstract（参考訳）: 研究では、推論プロセスを加速するために低ビット幅(例えばINT8)量子化が利用できることを実証した。 後方伝播は前方伝播よりも約2倍の計算を必要とするため、勾配量子化は非常に有望である。 勾配分布の変動性と不確実性から, トレーニング安定性を達成するための手法が多数提案されている。 しかし、それらの多くはチャンネルワイド勾配分布や大きさの異なる勾配の影響を無視しており、最終的な精度は低下する。 本稿では,上記の問題に対処するために,畳み込みニューラルネットワークのための新しいint8量子化トレーニングフレームワークを提案する。 具体的には, 勾配ベクトル量子化を応用して勾配を量子化し, チャネル次元に沿った複数の分布を含む層状勾配を観測した。 そこで、量子化誤差を最小化する際に勾配の大きさを考慮に入れたマグニチュード認識クリッピング戦略を導入し、異なる分布の量子化パラメータを解く理論的導出法を提案する。 画像分類,オブジェクト検出,ビデオ分類などの幅広いコンピュータビジョンタスクにおける実験の結果から,提案手法は,最先端技術よりも優れているresnet,mobilenetv2,inceptionv3,vgg,alexnetなどの異なるバックボーンに対して,ほぼ無損失なトレーニング精度を達成していることが示された。 さらに、最新のチューリングアーキテクチャ、すなわちトレーニング精度とスピードの両方に優れた方法で、トレーニングイテレーションを200%以上高速化できるINT8カーネルをさらに実装しています。

関連論文リスト

• Toward INT4 Fixed-Point Training via Exploring Quantization Error for Gradients [24.973203825917906]
  大振幅勾配の誤差の低減は量子化性能を著しく向上させることを示す。 また、大きな勾配に対する小さな量子化誤差を維持するために、量子化間隔を適応的に調整する間隔更新アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:06:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)
• QuantNet: Learning to Quantize by Learning within Fully Differentiable Framework [32.465949985191635]
  本稿では,QuantNetというメタベースの量子化器を提案する。 本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
  論文  参考訳（メタデータ） (2020-09-10T01:41:05Z)
• EasyQuant: Post-training Quantization via Scale Optimization [15.443708111143412]
  8ビットの量子化は、様々なディープラーニングアプリケーションにおけるネットワーク推論の高速化に広く応用されている。 量子化法には、トレーニングベース量子化と後学習量子化の2種類がある。
  論文  参考訳（メタデータ） (2020-06-30T10:43:02Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。