Fugu-MT 論文翻訳(概要): Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks via Nonlinear Multigrid

論文の概要: Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks via Nonlinear Multigrid

arxiv url: http://arxiv.org/abs/2007.07336v2
Date: Sun, 30 Aug 2020 18:34:56 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 14:25:45.776901
Title: Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks via Nonlinear Multigrid
Title（参考訳）: 非線形マルチグリッドによる深層残留ニューラルネットワークのgpu並列処理による層並列トレーニング
Authors: Andrew C. Kirby, Siddharth Samsi, Michael Jones, Albert Reuther, Jeremy Kepner, Vijay Gadepally
Abstract要約: この研究は、計算ユニット数と同じ数で従来のレイヤーワイドモデル並列化技術よりも10.2倍のスピードアップを示す。 The Multigrid Full Approximation Storage Algorithm for solve Deep Residual Networks is developed to enable neural network parallelized layer-wise training and concurrent compute kernel execution on GPUs。
参考スコア（独自算出の注目度）: 13.06639674195854
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A Multigrid Full Approximation Storage algorithm for solving Deep Residual Networks is developed to enable neural network parallelized layer-wise training and concurrent computational kernel execution on GPUs. This work demonstrates a 10.2x speedup over traditional layer-wise model parallelism techniques using the same number of compute units.
Abstract（参考訳）: gpu上でのニューラルネットワークの並列化層間トレーニングと並列計算カーネル実行を可能にするために,ディープ残差ネットワークを解決するためのマルチグリッドフル近似ストレージアルゴリズムを開発した。この研究は、同じ数の計算単位を使用する従来のレイヤーワイズモデル並列処理技術に対する10.2倍のスピードアップを示している。

関連論文リスト

Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Embarrassingly Parallel Independent Training of Multi-Layer Perceptrons with Heterogeneous Architectures [2.094821665776961]
ParallelMLPsは、異なる数のニューロンとアクティベーション関数を並列に持つ複数の独立したパーセプトロンニューラルネットワークのトレーニングを可能にする手順である。我々は,1万の異なるモデルを用いて,サンプル数,特徴量,バッチ数をシミュレーションデータセットで評価した。逐次的アプローチと比較して1～4桁のトレーニングスピードアップを実現した。
論文参考訳（メタデータ） (2022-06-14T02:00:31Z)
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文参考訳（メタデータ） (2022-01-16T07:22:47Z)
Parallel Simulation of Quantum Networks with Distributed Quantum State Management [56.24769206561207]
我々は、量子ネットワークの並列シミュレーションの要件を特定し、最初の並列離散事象量子ネットワークシミュレータを開発する。コントリビューションには、複数のプロセスに分散した共有量子情報を維持する量子状態マネージャの設計と開発が含まれています。既存のシーケンシャルバージョンと並行してオープンソースツールとして,並列SeQUeNCeシミュレータをリリースする。
論文参考訳（メタデータ） (2021-11-06T16:51:17Z)
End-To-End Data-Dependent Routing in Multi-Path Neural Networks [0.9507070656654633]
本稿では,レイヤ内の並列計算におけるデータ依存資源割り当てを用いたマルチパスニューラルネットワークを提案する。我々のネットワークは、画像認識タスクにおいて、既存の拡張および適応的な特徴抽出、さらにはアンサンブルやより深いネットワークよりも優れた性能を示す。
論文参考訳（メタデータ） (2021-07-06T07:58:07Z)
Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
論文参考訳（メタデータ） (2021-03-16T02:03:39Z)
Parallel Training of Deep Networks with Local Updates [84.30918922367442]
ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
論文参考訳（メタデータ） (2020-12-07T16:38:45Z)
Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs [0.45740558095423056]
深層ニューラルネットワーク(DNN)のトレーニングは、大量のパラメータを学習しなければならないため、GPU上でも時間を要するプロセスである。我々は、トレーニング時間を短縮するために、最先端の非線形ネットワークにおいて、このリッチ並列性を活用する必要性と潜在的な利点を論じる。
論文参考訳（メタデータ） (2020-05-28T07:51:22Z)
Minimal Filtering Algorithms for Convolutional Neural Networks [82.24592140096622]
我々は,M=3,5,7,9,11の基本的なフィルタリング操作を実装するための完全並列ハードウェア指向アルゴリズムを開発した。各ケースにおける提案アルゴリズムの完全な並列ハードウェア実装は、組込み乗算器の数を約30%削減する。
論文参考訳（メタデータ） (2020-04-12T13:18:25Z)
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。