論文の概要: SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional
Neural Networks Training
- arxiv url: http://arxiv.org/abs/2007.13595v1
- Date: Tue, 21 Jul 2020 11:01:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 05:31:54.289311
- Title: SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional
Neural Networks Training
- Title（参考訳）: sparsetrain: 効率的な畳み込みニューラルネットワークトレーニングのためのデータフロースパーシティの利用
- Authors: Pengcheng Dai, Jianlei Yang, Xucheng Ye, Xingzhou Cheng, Junyu Luo,
Linghao Song, Yiran Chen, Weisheng Zhao
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の訓練は通常、大量の計算資源を必要とする。
そこで本論文では,SparseTrain を用いた CNN トレーニングの高速化について提案する。
我々は,CNNを textitSparseTrain にマッピングする %a の単純なコンパイラを構築した。
- 参考スコア（独自算出の注目度）: 34.657942518465575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training Convolutional Neural Networks (CNNs) usually requires a large number
of computational resources. In this paper, \textit{SparseTrain} is proposed to
accelerate CNN training by fully exploiting the sparsity. It mainly involves
three levels of innovations: activation gradients pruning algorithm, sparse
training dataflow, and accelerator architecture. By applying a stochastic
pruning algorithm on each layer, the sparsity of back-propagation gradients can
be increased dramatically without degrading training accuracy and convergence
rate. Moreover, to utilize both \textit{natural sparsity} (resulted from ReLU
or Pooling layers) and \textit{artificial sparsity} (brought by pruning
algorithm), a sparse-aware architecture is proposed for training acceleration.
This architecture supports forward and back-propagation of CNN by adopting
1-Dimensional convolution dataflow. We have built %a simple compiler to map
CNNs topology onto \textit{SparseTrain}, and a cycle-accurate architecture
simulator to evaluate the performance and efficiency based on the synthesized
design with $14nm$ FinFET technologies. Evaluation results on AlexNet/ResNet
show that \textit{SparseTrain} could achieve about $2.7 \times$ speedup and
$2.2 \times$ energy efficiency improvement on average compared with the
original training process.
- Abstract（参考訳）: トレーニング畳み込みニューラルネットワーク(cnns)は通常、大量の計算リソースを必要とする。
本稿では,sparsity を十分に活用することで cnn トレーニングを高速化するために \textit{sparsetrain} を提案する。
主に、アクティベーショングラデーションプルーニングアルゴリズム、スパーストレーニングデータフロー、アクセラレータアーキテクチャの3つのレベルを含む。
各層に確率的プルーニングアルゴリズムを適用することにより、トレーニング精度と収束率を低下させることなく、バックプロパゲーション勾配の間隔を劇的に増大させることができる。
また, <textit{natural sparsity} (ReLU層やPooling層から抽出した) と \textit{artificial sparsity} (プルーニングアルゴリズムで作成した) の両方を活用するために, スパース・アウェアアーキテクチャを提案する。
このアーキテクチャは、1次元の畳み込みデータフローを採用することでCNNの前方および後方伝播をサポートする。
我々は、cnnsトポロジを \textit{sparsetrain} にマッピングする%の単純なコンパイラと、14nm$ finfet 技術を用いた合成設計に基づく性能と効率を評価するためのサイクル正確なアーキテクチャシミュレータを構築した。
AlexNet/ResNetによる評価結果は、オリジナルのトレーニングプロセスと比較して、約2.7 \times$スピードアップと2.2 \times$エネルギー効率の改善を達成できることを示している。
関連論文リスト
- (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。
構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。
我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。
視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
論文 参考訳（メタデータ） (2024-07-24T16:47:45Z) - SparseProp: Efficient Sparse Backpropagation for Faster Training of
Neural Networks [20.18957052535565]
トレーニング中のニューラルネットワークの重みが不足している場合に特化して、バックプロパゲーションアルゴリズムの新たな効率的なバージョンを提供する。
我々のアルゴリズムは、任意の(非構造的な)スパーシリティと共通層タイプに適用されるため、一般的なものである。
我々は、すでに分離されたネットワークを用いたトランスファーラーニングや、スパースネットワークをスクラッチからトレーニングすることで、エンドツーエンドのランタイム実験で高速化できることを示す。
論文 参考訳（メタデータ） (2023-02-09T18:54:05Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。
探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。
我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文 参考訳（メタデータ） (2022-08-09T02:29:42Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network
Accelerators [12.223778147172107]
拡張畳み込み畳み込みは現代の畳み込みニューラルネットワーク(CNN)で広く使われている
これらのカーネルは、その高いメモリ強度、エクサスケールな計算要求、大きなエネルギー消費のために、現在の計算システムを強調している。
拡張および変換された畳み込みのための新しいデータフローとマッピングアルゴリズムであるEcoFlowを提案する。
論文 参考訳（メタデータ） (2022-02-04T18:48:36Z) - Speedup deep learning models on GPU by taking advantage of efficient
unstructured pruning and bit-width reduction [0.0]
この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。
Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
論文 参考訳（メタデータ） (2021-12-28T19:36:41Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - When deep learning models on GPU can be accelerated by taking advantage
of unstructured sparsity [0.0]
本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。
現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。
畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
論文 参考訳（メタデータ） (2020-11-12T10:13:48Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。