論文の概要: GPU Acceleration of Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2005.04347v1
• Date: Sat, 9 May 2020 02:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 06:34:27.021803
• Title: GPU Acceleration of Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークのGPU高速化
• Authors: Aavaas Gajurel, Sushil J. Louis, Frederick C Harris
• Abstract要約: グラフィカル処理ユニットを用いてスパースニューラルネットワークのフルアクティベートにおいて,大幅な高速化を実現することができることを示す。 その結果、スパースニューラルネットワークの活性化はGPUアクセラレーションに非常に役立ち、機械学習戦略の高速化に役立つことが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we use graphics processing units(GPU) to accelerate sparse and arbitrary structured neural networks. Sparse networks have nodes in the network that are not fully connected with nodes in preceding and following layers, and arbitrary structure neural networks have different number of nodes in each layers. Sparse Neural networks with arbitrary structures are generally created in the processes like neural network pruning and evolutionary machine learning strategies. We show that we can gain significant speedup for full activation of such neural networks using graphical processing units. We do a prepossessing step to determine dependency groups for all the nodes in a network, and use that information to guide the progression of activation in the neural network. Then we compute activation for each nodes in its own separate thread in the GPU, which allows for massive parallelization. We use CUDA framework to implement our approach and compare the results of sequential and GPU implementations. Our results show that the activation of sparse neural networks lends very well to GPU acceleration and can help speed up machine learning strategies which generate such networks or other processes that have similar structure.
• Abstract（参考訳）: 本稿では,グラフ処理ユニット(GPU)を用いて,スパースニューラルネットワークと任意の構造化ニューラルネットワークを高速化する。 スパースネットワークは、前層と後層のノードと完全に接続されていないネットワークにノードを持ち、任意の構造ニューラルネットワークは各レイヤに異なるノード数を持つ。 任意の構造を持つスパースニューラルネットワークは、一般的にニューラルネットワークプルーニングや進化的機械学習戦略などのプロセスで生成される。 グラフ処理ユニットを用いて,このようなニューラルネットワークをフルアクティベートする上で,大幅な高速化が期待できることを示す。 我々は、ネットワーク内のすべてのノードに対する依存グループを決定するための前提ステップを実行し、その情報を使用して、ニューラルネットワークのアクティベーションの進行をガイドします。 次に、GPU内の各ノードのアクティベーションをそれぞれ別個のスレッドで計算し、大規模な並列化を可能にします。 CUDAフレームワークを使用してアプローチを実装し、シーケンシャルおよびGPU実装の結果を比較する。 その結果、スパースニューラルネットワークの活性化はGPUアクセラレーションに非常に役立ち、そのような構造を持つネットワークやその他のプロセスを生成する機械学習戦略の高速化に役立ちます。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• DEFER: Distributed Edge Inference for Deep Neural Networks [5.672898304129217]
  分散エッジ推論のためのフレームワークであるDEFERを提案する。 ディープニューラルネットワークを複数の計算ノードに分散可能なレイヤに分割する。 ResNet50モデルでは、8ノードのDEFERの推論スループットは53%高く、ノード当たりのエネルギー消費量は1デバイス当たりの推測よりも63%低いことがわかった。
  論文  参考訳（メタデータ） (2022-01-18T06:50:45Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Multirate Training of Neural Networks [0.0]
  視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
  論文  参考訳（メタデータ） (2021-06-20T22:44:55Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs [0.45740558095423056]
  深層ニューラルネットワーク(DNN)のトレーニングは、大量のパラメータを学習しなければならないため、GPU上でも時間を要するプロセスである。 我々は、トレーニング時間を短縮するために、最先端の非線形ネットワークにおいて、このリッチ並列性を活用する必要性と潜在的な利点を論じる。
  論文  参考訳（メタデータ） (2020-05-28T07:51:22Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。