論文の概要: Towards Efficient Full 8-bit Integer DNN Online Training on
Resource-limited Devices without Batch Normalization
- arxiv url: http://arxiv.org/abs/2105.13890v1
- Date: Thu, 27 May 2021 14:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:30:49.673547
- Title: Towards Efficient Full 8-bit Integer DNN Online Training on
Resource-limited Devices without Batch Normalization
- Title（参考訳）: バッチ正規化を伴わないリソース制限デバイスによる全8ビット整数DNNオンライントレーニング
- Authors: Yukuan Yang, Xiaowei Chi, Lei Deng, Tianyi Yan, Feng Gao, Guoqi Li
- Abstract要約: 畳み込みとバッチ正規化(BN)によってもたらされる膨大な計算コストは、オンライントレーニングとディープニューラルネットワーク(DNN)の応用に大きな課題を引き起こしている。
既存の作業は畳み込みやBNアクセラレーションにのみ焦点を合わせており、満足なパフォーマンスで両方の問題を緩和できる解決策は存在しない。
オンライントレーニングは、携帯電話のようなリソース制限されたデバイスでは徐々にトレンドになりつつあるが、モデル性能、処理速度、計算コストを許容する完全な技術スキームはいまだに存在しない。
- 参考スコア（独自算出の注目度）: 13.340254606150232
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Huge computational costs brought by convolution and batch normalization (BN)
have caused great challenges for the online training and corresponding
applications of deep neural networks (DNNs), especially in resource-limited
devices. Existing works only focus on the convolution or BN acceleration and no
solution can alleviate both problems with satisfactory performance. Online
training has gradually become a trend in resource-limited devices like mobile
phones while there is still no complete technical scheme with acceptable model
performance, processing speed, and computational cost. In this research, an
efficient online-training quantization framework termed EOQ is proposed by
combining Fixup initialization and a novel quantization scheme for DNN model
compression and acceleration. Based on the proposed framework, we have
successfully realized full 8-bit integer network training and removed BN in
large-scale DNNs. Especially, weight updates are quantized to 8-bit integers
for the first time. Theoretical analyses of EOQ utilizing Fixup initialization
for removing BN have been further given using a novel Block Dynamical Isometry
theory with weaker assumptions. Benefiting from rational quantization
strategies and the absence of BN, the full 8-bit networks based on EOQ can
achieve state-of-the-art accuracy and immense advantages in computational cost
and processing speed. What is more, the design of deep learning chips can be
profoundly simplified for the absence of unfriendly square root operations in
BN. Beyond this, EOQ has been evidenced to be more advantageous in small-batch
online training with fewer batch samples. In summary, the EOQ framework is
specially designed for reducing the high cost of convolution and BN in network
training, demonstrating a broad application prospect of online training in
resource-limited devices.
- Abstract（参考訳）: 畳み込みとバッチ正規化(BN)によってもたらされる膨大な計算コストは、特にリソース制限されたデバイスにおいて、オンライントレーニングとそれに対応するディープニューラルネットワーク(DNN)の応用に大きな課題を引き起こしている。
既存の作業は畳み込みやbn加速にのみ焦点を合わせており、どちらの問題も満足な性能で解決できない。
オンライントレーニングは、携帯電話のようなリソース制限されたデバイスでは徐々にトレンドになりつつあるが、モデル性能、処理速度、計算コストを許容する完全な技術スキームはいまだに存在しない。
本研究では,固定化初期化とdnnモデル圧縮と高速化のための新しい量子化スキームを組み合わせることで,eoqと呼ばれる効率的なオンライン学習量子化フレームワークを提案する。
提案手法に基づき,大規模DNNにおける完全8ビット整数ネットワークトレーニングとBN除去を実現した。
特に、ウェイト更新は初めて8ビット整数に量子化される。
BNを除去するために固定化初期化を利用するEOQの理論解析は、より弱い仮定を持つ新しいブロック力学等方性理論を用いてさらに研究されている。
合理的量子化戦略とBNの欠如により、EOQに基づく完全な8ビットネットワークは、最先端の精度と計算コストと処理速度の大幅なアドバンテージを達成できる。
さらに、bnに不都合な平方根演算がないため、ディープラーニングチップの設計は大幅に単純化することができる。
さらにEOQは、バッチサンプルが少ない小さなバッチオンライントレーニングにおいて、より有利であることが証明されている。
要約すると、EOQフレームワークは、ネットワークトレーニングにおける高コストの畳み込みとBNを減らすために特別に設計されており、リソース制限デバイスにおけるオンライントレーニングの幅広い応用可能性を示している。
関連論文リスト
- Constraint Guided Model Quantization of Neural Networks [0.0]
Constraint Guided Model Quantization (CGMQ) は、計算資源の上限を使い、ニューラルネットワークのパラメータのビット幅を削減する量子化対応トレーニングアルゴリズムである。
MNISTでは、CGMQの性能が最先端の量子化対応トレーニングアルゴリズムと競合していることが示されている。
論文 参考訳（メタデータ） (2024-09-30T09:41:16Z) - AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。
モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。
AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
論文 参考訳（メタデータ） (2024-04-22T09:23:56Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Neural Network Quantization with AI Model Efficiency Toolkit (AIMET) [15.439669159557253]
AIモデル効率ツールキット(AIMET)を用いたニューラルネットワーク量子化の概要について述べる。
AIMETは、モデル最適化に必要な作業を容易にするために設計された最先端の量子化および圧縮アルゴリズムのライブラリである。
我々は、PTQとQAT、コード例、実用的なヒントを網羅し、AIMETによる量子化の実践的なガイドを提供する。
論文 参考訳（メタデータ） (2022-01-20T20:35:37Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。
我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文 参考訳（メタデータ） (2021-06-15T17:12:42Z) - "BNN - BN = ?": Training Binary Neural Networks without Batch
Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである
BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文 参考訳（メタデータ） (2021-04-16T16:46:57Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Efficient Computation Reduction in Bayesian Neural Networks Through
Feature Decomposition and Memorization [10.182119276564643]
本稿では,計算コストを削減するため,効率的なBNN推論フローを提案する。
計算の約半分は従来の手法と比べて取り除くことができる。
We implement our approach in Verilog and synthesise it with 45 $nm$ FreePDK technology。
論文 参考訳（メタデータ） (2020-05-08T05:03:04Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。