論文の概要: GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
- arxiv url: http://arxiv.org/abs/2406.17145v1
- Date: Mon, 24 Jun 2024 21:32:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 18:11:29.132638
- Title: GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
- Title（参考訳）: GraphPipe: グラフパイプライン並列処理によるDNNトレーニングのパフォーマンスとスケーラビリティ向上
- Authors: Byungsoo Jeon, Mengdi Wu, Shiyi Cao, Sunghyun Kim, Sunghyun Park, Neeraj Aggarwal, Colin Unger, Daiyaan Arfeen, Peiyuan Liao, Xupeng Miao, Mohammad Alizadeh, Gregory R. Ganger, Tianqi Chen, Zhihao Jia,
- Abstract要約: ディープニューラルネットワーク(DNN)のサイズは急速に拡大し続けており、単一のデバイスでトレーニングすることは不可能である。
本稿では,DNNをパイプラインステージに分割するパイプライン並列方式を提案する。
また,パフォーマンスと拡張性を備えたDNNトレーニングを実現するために,MME戦略を活用する分散システムであるGraphPipeを開発した。
- 参考スコア（独自算出の注目度）: 20.44114440511298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) continue to grow rapidly in size, making them infeasible to train on a single device. Pipeline parallelism is commonly used in existing DNN systems to support large-scale DNN training by partitioning a DNN into multiple stages, which concurrently perform DNN training for different micro-batches in a pipeline fashion. However, existing pipeline-parallel approaches only consider sequential pipeline stages and thus ignore the topology of a DNN, resulting in missed model-parallel opportunities. This paper presents graph pipeline parallelism (GPP), a new pipeline-parallel scheme that partitions a DNN into pipeline stages whose dependencies are identified by a directed acyclic graph. GPP generalizes existing sequential pipeline parallelism and preserves the inherent topology of a DNN to enable concurrent execution of computationally-independent operators, resulting in reduced memory requirement and improved GPU performance. In addition, we develop GraphPipe, a distributed system that exploits GPP strategies to enable performant and scalable DNN training. GraphPipe partitions a DNN into a graph of stages, optimizes micro-batch schedules for these stages, and parallelizes DNN training using the discovered GPP strategies. Evaluation on a variety of DNNs shows that GraphPipe outperforms existing pipeline-parallel systems such as PipeDream and Piper by up to 1.6X. GraphPipe also reduces the search time by 9-21X compared to PipeDream and Piper.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のサイズは急速に拡大し続けており、単一のデバイスでトレーニングすることは不可能である。
パイプライン並列性は、DNNを複数のステージに分割し、パイプライン方式で異なるマイクロバッチに対するDNNトレーニングを同時に実行することによって、大規模DNNトレーニングをサポートするために、既存のDNNシステムで一般的に使用されている。
しかしながら、既存のパイプライン並列アプローチでは、逐次パイプラインステージのみを考慮して、DNNのトポロジを無視しているため、モデル並列の機会が欠落している。
本稿では、DNNをパイプラインステージに分割し、依存を非巡回グラフで識別する新しいパイプライン並列方式であるグラフパイプライン並列化(GPP)を提案する。
GPPは、既存のシーケンシャルパイプライン並列性を一般化し、DNN固有のトポロジを保持して、計算に依存しない演算子の同時実行を可能にし、メモリ要求の低減とGPU性能の向上を実現している。
さらに,GPP戦略を利用して,高性能でスケーラブルなDNNトレーニングを実現する分散システムであるGraphPipeを開発した。
GraphPipeは、DNNをステージのグラフに分割し、これらのステージのマイクロバッチスケジュールを最適化し、発見されたGPP戦略を使用してDNNトレーニングを並列化する。
さまざまなDNNの評価によると、GraphPipeは、PipeDreamやPiperといった既存のパイプライン並列システムよりも1.6倍パフォーマンスが高い。
GraphPipeはまた、検索時間をPipeDreamやPiperと比べて9-21X削減する。
関連論文リスト
- GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。
GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
論文 参考訳（メタデータ） (2023-08-19T18:44:14Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳（メタデータ） (2022-07-22T18:38:11Z) - Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency
Analysis [28.464210819376593]
グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。
ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。
しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。
この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
論文 参考訳（メタデータ） (2022-05-19T17:11:45Z) - PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Pipelined Feature Communication [24.05916878277873]
Graph Convolutional Networks (GCNs) は、グラフ構造化データを学習するための最先端の手法である。
分散GCNトレーニングは、ノード機能とパーティション間の機能勾配の通信の不要なオーバーヘッドを引き起こす。
分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽するPipeGCNを提案する。
論文 参考訳（メタデータ） (2022-03-20T02:08:03Z) - BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training [9.551339069298011]
BaPipeは分散ディープラーニングのためのパイプライン並列化トレーニングフレームワークである。
パイプライン並列性トレーニングメソッドと分散トレーニングのためのバランスの取れたパーティション戦略を自動で探索する。
BaPipeは、様々なプラットフォームで最大3.2倍のスピードアップと4倍のメモリ削減を提供する。
論文 参考訳（メタデータ） (2020-12-23T08:57:39Z) - Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文 参考訳（メタデータ） (2020-10-23T19:12:30Z) - Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。
効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。
本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-05T22:06:23Z) - LGNN: A Context-aware Line Segment Detector [53.424521592941936]
我々はLine Graph Neural Network (LGNN) と呼ばれる新しいリアルタイム線分検出手法を提案する。
我々のLGNNは、線分を直接提案するディープ畳み込みニューラルネットワーク(DCNN)と、それらの接続性を推論するためのグラフニューラルネットワーク(GNN)モジュールを使用している。
最先端と比較して、LGNNは精度を損なうことなくほぼリアルタイムのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-08-13T13:23:18Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。