論文の概要: Exploiting Activation based Gradient Output Sparsity to Accelerate
Backpropagation in CNNs
- arxiv url: http://arxiv.org/abs/2109.07710v1
- Date: Thu, 16 Sep 2021 04:12:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-18 01:57:17.583150
- Title: Exploiting Activation based Gradient Output Sparsity to Accelerate
Backpropagation in CNNs
- Title（参考訳）: CNNのバックプロパゲーション促進のための爆発的活性化に基づくグラディエント出力空間
- Authors: Anup Sarma, Sonali Singh, Huaipan Jiang, Ashutosh Pattnaik, Asit K
Mishra, Vijaykrishnan Narayanan, Mahmut T Kandemir and Chita R Das
- Abstract要約: 多くの最先端技術の背後にある原動力として、機械学習(ML/DL)ベースの技術が登場している。
しかし、大きなパラメータを含むこれらのモデルをトレーニングすることは、時間とエネルギーの両方を消費する。
- 参考スコア（独自算出の注目度）: 15.465530153038927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine/deep-learning (ML/DL) based techniques are emerging as a driving
force behind many cutting-edge technologies, achieving high accuracy on
computer vision workloads such as image classification and object detection.
However, training these models involving large parameters is both
time-consuming and energy-hogging. In this regard, several prior works have
advocated for sparsity to speed up the of DL training and more so, the
inference phase. This work begins with the observation that during training,
sparsity in the forward and backward passes are correlated. In that context, we
investigate two types of sparsity (input and output type) inherent in gradient
descent-based optimization algorithms and propose a hardware micro-architecture
to leverage the same. Our experimental results use five state-of-the-art CNN
models on the Imagenet dataset, and show back propagation speedups in the range
of 1.69$\times$ to 5.43$\times$, compared to the dense baseline execution. By
exploiting sparsity in both the forward and backward passes, speedup
improvements range from 1.68$\times$ to 3.30$\times$ over the sparsity-agnostic
baseline execution. Our work also achieves significant reduction in training
iteration time over several previously proposed dense as well as sparse
accelerator based platforms, in addition to achieving order of magnitude energy
efficiency improvements over GPU based execution.
- Abstract（参考訳）: 機械学習(ML/DL)ベースの技術は多くの最先端技術の背後にある原動力として登場し、画像分類やオブジェクト検出といったコンピュータビジョンのワークロードに対して高い精度を達成する。
しかし、大きなパラメータを含むこれらのモデルのトレーニングは、時間消費とエネルギー消費の両方である。
この点に関して、いくつかの先行研究は、DLトレーニングのスピードアップよりも、推論フェーズの高速化を提唱している。
この研究は、トレーニング中、前方と後方のパスの間隔が相関しているという観察から始まる。
そこで我々は,勾配降下に基づく最適化アルゴリズムに固有の2種類の疎度(入出力型)について検討し,これを利用するハードウェアマイクロアーキテクチャを提案する。
実験結果は、Imagenetデータセット上で5つの最先端CNNモデルを用いており、密度の高いベースライン実行と比較して1.69$\times$から5.43$\times$までの伝播速度を示す。
前方パスと後方パスの両方でsparsityを活用することで、speedupの改善はsparsity非依存のベースライン実行に対して 1.68$\times$ から 3.30$\times$ となる。
我々の研究は、GPUベースの実行よりもエネルギー効率が大幅に向上するだけでなく、以前提案した複数の高密度かつスパースなアクセラレータベースのプラットフォームに対して、トレーニングのイテレーション時間を大幅に短縮する。
関連論文リスト
- FastMIM: Expediting Masked Image Modeling Pre-training for Vision [65.47756720190155]
FastMIMは低解像度の入力画像で視覚バックボーンを事前訓練するためのフレームワークである。
入力画像のRGB値の代わりに、向き付け勾配のヒストグラム(Histograms of Oriented Gradients,HOG)機能を再構成する。
ViT-B/Swin-Bをバックボーンとし、ImageNet-1Kで83.8%/84.1%のトップ1の精度を達成できる。
論文 参考訳（メタデータ） (2022-12-13T14:09:32Z) - Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep
Models [158.19276683455254]
アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。
ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。
本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。
Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
論文 参考訳（メタデータ） (2022-08-13T16:04:39Z) - FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet
Level [7.410940271545853]
我々は、Hebbian学習のための効率的でスケーラブルなソリューションであるFastHebbを紹介する。
FastHebbはトレーニングのスピードで、これまでのソリューションを最大50倍のパフォーマンスで上回っている。
私たちは初めて、HebbianアルゴリズムをImageNetスケールに持ち込むことができます。
論文 参考訳（メタデータ） (2022-07-07T09:04:55Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Speedup deep learning models on GPU by taking advantage of efficient
unstructured pruning and bit-width reduction [0.0]
この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。
Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
論文 参考訳（メタデータ） (2021-12-28T19:36:41Z) - Boosting Fast Adversarial Training with Learnable Adversarial
Initialization [79.90495058040537]
対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。
トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
論文 参考訳（メタデータ） (2021-10-11T05:37:00Z) - Accelerating Training of Transformer-Based Language Models with
Progressive Layer Dropping [24.547833264405355]
提案手法は, サンプルあたり平均24%の時間短縮を実現し, プレトレーニングをベースラインの2.5倍の速度で行うことができる。
トレーニング済みのモデルでは,より高速ながら,強力な知識伝達能力を備え,ベースラインよりも高いGLUEスコアを達成できる。
論文 参考訳（メタデータ） (2020-10-26T06:50:07Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。