論文の概要: Accelerating DNN Training with Structured Data Gradient Pruning
- arxiv url: http://arxiv.org/abs/2202.00774v1
- Date: Tue, 1 Feb 2022 21:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 01:24:31.214876
- Title: Accelerating DNN Training with Structured Data Gradient Pruning
- Title（参考訳）: 構造化データグラディエントプルーニングによるDNN学習の高速化
- Authors: Bradley McDanel, Helia Dinh, John Magallanes
- Abstract要約: ウェイトプルーニング(Weight pruning)は、ディープニューラルネットワーク(DNN)の推論をより効率的にする手法である。
Nvidia A100 GPUのような現代のアクセラレーターは、このタイプの構造化された空間を4要素あたり2つの非ゼロでサポートしている。
提案手法は,性能に大きな影響を与えることなく,全トレーニング時間を15～25%削減することができる。
- 参考スコア（独自算出の注目度）: 0.5801044612920815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight pruning is a technique to make Deep Neural Network (DNN) inference
more computationally efficient by reducing the number of model parameters over
the course of training. However, most weight pruning techniques generally does
not speed up DNN training and can even require more iterations to reach model
convergence. In this work, we propose a novel Structured Data Gradient Pruning
(SDGP) method that can speed up training without impacting model convergence.
This approach enforces a specific sparsity structure, where only N out of every
M elements in a matrix can be nonzero, making it amenable to hardware
acceleration. Modern accelerators such as the Nvidia A100 GPU support this type
of structured sparsity for 2 nonzeros per 4 elements in a reduction. Assuming
hardware support for 2:4 sparsity, our approach can achieve a 15-25\% reduction
in total training time without significant impact to performance. Source code
and pre-trained models are available at
\url{https://github.com/BradMcDanel/sdgp}.
- Abstract（参考訳）: ウェイトプルーニング(Weight pruning)は、トレーニング中のモデルパラメータ数を削減し、ディープニューラルネットワーク(DNN)の推論をより効率的にする手法である。
しかし、ほとんどの重み付け技術は一般的にDNNトレーニングをスピードアップせず、モデル収束に達するためにより多くのイテレーションを必要とすることもある。
本研究では,モデル収束に影響を与えることなくトレーニングを高速化するSDGP(Structured Data Gradient Pruning)手法を提案する。
このアプローチは特定の空間構造を強制し、行列内のすべての M 要素のうち N のみが 0 でないことができ、ハードウェアの加速に有効である。
Nvidia A100 GPUのような現代のアクセラレーターは、このタイプの構造化された空間を4要素あたり2つの非ゼロでサポートしている。
2:4間隔でのハードウェアサポートを仮定すると、本手法は性能に大きな影響を及ぼすことなく、トレーニング時間を15～25%削減できる。
ソースコードと事前トレーニングされたモデルは \url{https://github.com/bradmcdanel/sdgp} で入手できる。
関連論文リスト
- Efficient N:M Sparse DNN Training Using Algorithm, Architecture, and
Dataflow Co-Design [15.47240906902083]
本稿では,アルゴリズム,アーキテクチャ,データフロー共設計を用いたN:MスパースDNNの計算効率向上学習手法を提案する。
アルゴリズムレベルでは、重みのN:M空間を利用するために、BDWPと呼ばれる双方向の重み決定法が提案されている。
アーキテクチャレベルでは、通常の高密度演算と計算効率のN:Mスパース演算の両方をサポートするために、DNNトレーニング用のスパースアクセラレータSATが開発された。
論文 参考訳（メタデータ） (2023-09-22T17:26:19Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。
チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。
提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
論文 参考訳（メタデータ） (2023-05-30T23:33:45Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳（メタデータ） (2023-04-20T07:21:32Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Speedup deep learning models on GPU by taking advantage of efficient
unstructured pruning and bit-width reduction [0.0]
この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。
Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
論文 参考訳（メタデータ） (2021-12-28T19:36:41Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - When deep learning models on GPU can be accelerated by taking advantage
of unstructured sparsity [0.0]
本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。
現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。
畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
論文 参考訳（メタデータ） (2020-11-12T10:13:48Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。
様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。
フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文 参考訳（メタデータ） (2020-02-20T11:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。