論文の概要: Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs

• arxiv url: http://arxiv.org/abs/2005.13823v1
• Date: Thu, 28 May 2020 07:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 05:21:00.268611
• Title: Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs
• Title（参考訳）: 簡潔な発表:GPU上の畳み込みニューラルネットワークの並列化の限界について
• Authors: Behnam Pourghassemi (1), Chenghao Zhang (1), Joo Hwan Lee (2), Aparna Chandramowlishwaran (1) ((1) University of California, Irvine, (2) Samsung Semiconductor)
• Abstract要約: 深層ニューラルネットワーク(DNN)のトレーニングは、大量のパラメータを学習しなければならないため、GPU上でも時間を要するプロセスである。 我々は、トレーニング時間を短縮するために、最先端の非線形ネットワークにおいて、このリッチ並列性を活用する必要性と潜在的な利点を論じる。
• 参考スコア（独自算出の注目度）: 0.45740558095423056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GPUs are currently the platform of choice for training neural networks. However, training a deep neural network (DNN) is a time-consuming process even on GPUs because of the massive number of parameters that have to be learned. As a result, accelerating DNN training has been an area of significant research in the last couple of years. While earlier networks such as AlexNet had a linear dependency between layers and operations, state-of-the-art networks such as ResNet, PathNet, and GoogleNet have a non-linear structure that exhibits a higher level of inter-operation parallelism. However, popular deep learning (DL) frameworks such as TensorFlow and PyTorch launch the majority of neural network operations, especially convolutions, serially on GPUs and do not exploit this inter-op parallelism. In this brief announcement, we make a case for the need and potential benefit of exploiting this rich parallelism in state-of-the-art non-linear networks for reducing the training time. We identify the challenges and limitations in enabling concurrent layer execution on GPU backends (such as cuDNN) of DL frameworks and propose potential solutions.
• Abstract（参考訳）: gpuは現在、ニューラルネットワークのトレーニングに最適なプラットフォームである。 しかし、深層ニューラルネットワーク(dnn)のトレーニングは、学習しなければならないパラメータが膨大なため、gpu上でも時間を要するプロセスである。 結果として、DNNトレーニングの加速は、ここ数年で重要な研究の領域となっている。 AlexNetのような以前のネットワークはレイヤとオペレーションの間に線形な依存関係を持っていたが、ResNet、PathNet、GoogleNetのような最先端のネットワークは、高いレベルの相互運用並列性を示す非線形構造を持っている。 しかしながら、TensorFlowやPyTorchといった一般的なディープラーニング(DL)フレームワークは、ニューラルネットワーク操作の大部分、特に畳み込み(convolution)をGPU上でシリアルに起動し、この相互並列性を利用していない。 この短い発表では、トレーニング時間を短縮するために最先端の非線形ネットワークにおいて、このリッチな並列性を利用する必要性と潜在的な利点について述べる。 DLフレームワークのGPUバックエンド(cuDNNなど)上で並列レイヤの実行を可能にする上での課題と制限を特定し、潜在的なソリューションを提案する。

関連論文リスト

• Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-14T21:10:05Z)
• Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks [0.08965418284317034]
  Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T09:46:44Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
  グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:48:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。