論文の概要: BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training

• arxiv url: http://arxiv.org/abs/2012.12544v2
• Date: Thu, 14 Jan 2021 05:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:03:56.071726
• Title: BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training
• Title（参考訳）: BaPipe: DNNトレーニングのためのバランスの取れたパイプライン並列性の探索
• Authors: Letian Zhao, Rui Xu, Tianqi Wang, Teng Tian, Xiaotian Wang, Wei Wu, Chio-in Ieong, Xi Jin
• Abstract要約: BaPipeは分散ディープラーニングのためのパイプライン並列化トレーニングフレームワークである。 パイプライン並列性トレーニングメソッドと分散トレーニングのためのバランスの取れたパーティション戦略を自動で探索する。 BaPipeは、様々なプラットフォームで最大3.2倍のスピードアップと4倍のメモリ削減を提供する。
• 参考スコア（独自算出の注目度）: 9.551339069298011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The size of deep neural networks (DNNs) grows rapidly as the complexity of the machine learning algorithm increases. To satisfy the requirement of computation and memory of DNN training, distributed deep learning based on model parallelism has been widely recognized. We propose a new pipeline parallelism training framework, BaPipe, which can automatically explore pipeline parallelism training methods and balanced partition strategies for DNN distributed training. In BaPipe, each accelerator calculates the forward propagation and backward propagation of different parts of networks to implement the intra-batch pipeline parallelism strategy. BaPipe uses a new load balancing automatic exploration strategy that considers the parameters of DNN models and the computation, memory, and communication resources of accelerator clusters. We have trained different DNNs such as VGG-16, ResNet-50, and GNMT on GPU clusters and simulated the performance of different FPGA clusters. Compared with state-of-the-art data parallelism and pipeline parallelism frameworks, BaPipe provides up to 3.2x speedup and 4x memory reduction in various platforms.
• Abstract（参考訳）: ディープラーニングアルゴリズムの複雑さが増大するにつれて、ディープニューラルネットワーク(DNN)のサイズは急速に大きくなる。 DNNトレーニングの計算と記憶の要求を満たすため、モデル並列性に基づく分散ディープラーニングが広く認識されている。 本稿では,dnn分散トレーニングのためのパイプライン並列化トレーニング手法とバランスの取れた分割戦略を自動的に探索する,パイプライン並列化トレーニングフレームワークbapipeを提案する。 bapipeでは、各アクセラレータがネットワークの異なる部分の前方伝播と後方伝播を計算し、バッチ内パイプライン並列化戦略を実行する。 BaPipeでは、DNNモデルのパラメータと、アクセラレータクラスタの計算、メモリ、通信リソースを考慮した、新たなロードバランシング自動探索戦略を採用している。 我々は、GPUクラスタ上でVGG-16、ResNet-50、GNMTなどの異なるDNNを訓練し、異なるFPGAクラスタのパフォーマンスをシミュレートした。 最先端のデータ並列性とパイプライン並列化フレームワークと比較して、BaPipeは様々なプラットフォームで最大3.2倍のスピードアップと4倍のメモリ削減を提供する。

関連論文リスト

• GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism [20.44114440511298]
  ディープニューラルネットワーク(DNN)のサイズは急速に拡大し続けており、単一のデバイスでトレーニングすることは不可能である。 本稿では,DNNをパイプラインステージに分割するパイプライン並列方式を提案する。 また,パフォーマンスと拡張性を備えたDNNトレーニングを実現するために,MME戦略を活用する分散システムであるGraphPipeを開発した。
  論文  参考訳（メタデータ） (2024-06-24T21:32:51Z)
• 2BP: 2-Stage Backpropagation [0.0]
  本稿では2段階バックプロパゲーション(2BP)を紹介する。 後方伝播ステップを2つの別々のステージに分割することで、アイドル計算時間を短縮できる。 2BPでは従来の手法に比べてスループットが1.70倍向上した。
  論文  参考訳（メタデータ） (2024-05-28T11:02:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution [15.086401550425125]
  DistIRは分散計算のための表現であり、効率的な解析のために調整されている。 本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
  論文  参考訳（メタデータ） (2021-11-09T21:32:51Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)
• A Linear Algebraic Approach to Model Parallelism in Deep Learning [0.0]
  ネットワークのサイズと複雑さが大きくなるにつれて、大規模クラスタコンピューティング環境でのディープニューラルネットワーク(DNN)のトレーニングがますます必要になる。 深層学習における並列性をモデル化するための線形代数的手法を提案し,DNNにおけるテンソルの並列分布を実現する。 本研究では,これらの並列プリミティブを用いて分散DNN層を構築し,PyTorchおよびMPIベースの分散ディープラーニングツールキットであるDistDLを用いて分散DNNを構築し,訓練することにより,それらのアプリケーションを実演する。
  論文  参考訳（メタデータ） (2020-06-04T19:38:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。