論文の概要: DNN Training Acceleration via Exploring GPGPU Friendly Sparsity

• arxiv url: http://arxiv.org/abs/2203.05705v1
• Date: Fri, 11 Mar 2022 01:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 20:11:56.737344
• Title: DNN Training Acceleration via Exploring GPGPU Friendly Sparsity
• Title（参考訳）: GPGPU親和性探索によるDNNトレーニング高速化
• Authors: Zhuoran Song, Yihong Xu, Han Li, Naifeng Jing, Xiaoyao Liang, Li Jiang
• Abstract要約: 本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
• 参考スコア（独自算出の注目度）: 16.406482603838157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training phases of Deep neural network~(DNN) consumes enormous processing time and energy. Compression techniques utilizing the sparsity of DNNs can effectively accelerate the inference phase of DNNs. However, it is hardly used in the training phase because the training phase involves dense matrix-multiplication using General-Purpose Computation on Graphics Processors (GPGPU), which endorse the regular and structural data layout. In this paper, we first propose the Approximate Random Dropout that replaces the conventional random dropout of neurons and synapses with a regular and online generated row-based or tile-based dropout patterns to eliminate the unnecessary computation and data access for the multilayer perceptron~(MLP) and long short-term memory~(LSTM). We then develop a SGD-based Search Algorithm that produces the distribution of row-based or tile-based dropout patterns to compensate for the potential accuracy loss. Moreover, aiming at the convolution neural network~(CNN) training acceleration, we first explore the importance and sensitivity of input feature maps; and then propose the sensitivity-aware dropout method to dynamically drop the input feature maps based on their sensitivity so as to achieve greater forward and backward training acceleration while reserving better NN accuracy. To facilitate DNN programming, we build a DNN training computation framework that unifies the proposed techniques in the software stack. As a result, the GPGPU only needs to support the basic operator -- matrix multiplication and can achieve significant performance improvement regardless of DNN model.
• Abstract（参考訳）: Deep Neural Network~(DNN)のトレーニングフェーズは、膨大な処理時間とエネルギーを消費する。 DNNの間隔を利用した圧縮技術は、DNNの推論フェーズを効果的に加速させることができる。 しかし、トレーニングフェーズでは、正規および構造データレイアウトを支持するGPGPU(General-Purpose Computation on Graphics Processors)を使用して、密度の高い行列乗算を行うため、トレーニングフェーズではほとんど使われない。 本稿では,従来のランダムなニューロンとシナプスのドロップアウトを,正規およびオンラインに生成された行ベースあるいはタイルベースのドロップアウトパターンに置き換えて,多層パーセプトロン〜(MLP)と長短期記憶〜(LSTM)の不要な計算とデータアクセスをなくす近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 さらに,畳み込みニューラルネットワーク~(CNN)学習加速を目指して,まず入力特徴マップの重要性と感度について検討し,その感度に基づいて入力特徴マップを動的にドロップして,より優れたNN精度を維持しつつ,より前方および後方へのトレーニング加速を実現するための感度対応ドロップアウト手法を提案する。 DNNプログラミングを容易にするために,提案手法をソフトウェアスタックに統一したDNNトレーニング計算フレームワークを構築した。 その結果、GPGPUは基本演算子 -- 行列乗算のみをサポートする必要があり、DNNモデルによらず、大幅な性能向上を実現することができる。

関連論文リスト

• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• Asymmetrical estimator for training encapsulated deep photonic neural networks [10.709758849326061]
  フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。 デバイス・ツー・デバイスとシステム・ツー・システムの違いは、PNNの完全な知識を生み出す。 DPNNのカプセル化に適した非対称訓練法(AT法)を導入する。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。