論文の概要: GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism

• arxiv url: http://arxiv.org/abs/2308.10087v2
• Date: Sun, 24 Sep 2023 17:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 01:21:02.375372
• Title: GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism
• Title（参考訳）: GNNPipe:パイプラインモデル並列処理によるディープGNNトレーニングのスケールアップ
• Authors: Jingji Chen, Zhuoming Chen, Xuehai Qian
• Abstract要約: 分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
• 参考スコア（独自算出の注目度）: 10.723541176359452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication is a key bottleneck for distributed graph neural network (GNN) training. This paper proposes GNNPipe, a new approach that scales the distributed full-graph deep GNN training. Being the first to use layer-level model parallelism for GNN training, GNNPipe partitions GNN layers among GPUs, each device performs the computation for a disjoint subset of consecutive GNN layers on the whole graph. Compared to graph parallelism with each GPU handling a graph partition, GNNPipe reduces the communication volume by a factor of the number of GNN layers. GNNPipe overcomes the unique challenges for pipelined layer-level model parallelism on the whole graph by partitioning it into dependent chunks, allowing the use of historical vertex embeddings, and applying specific training techniques to ensure convergence. We also propose a hybrid approach by combining GNNPipe with graph parallelism to handle large graphs, achieve better computer resource utilization and ensure model convergence. We build a general GNN training system supporting all three parallelism setting. Extensive experiments show that our method reduces the per-epoch training time by up to 2.45x (on average 1.58x) and reduces the communication volume and overhead by up to 22.89x and 27.21x (on average 8.69x and 11.60x), respectively, while achieving a comparable level of model accuracy and convergence speed compared to graph parallelism.
• Abstract（参考訳）: コミュニケーションは分散グラフニューラルネットワーク(gnn)トレーニングの重要なボトルネックである。 本稿では、分散フルグラフ深部GNNトレーニングをスケールする新しいアプローチであるGNNPipeを提案する。 gnnトレーニングに最初にレイヤレベルのモデル並列性を使用したgnnpipeは、gpu間でgnnレイヤを分割し、各デバイスは、グラフ全体の連続したgnnレイヤの非結合サブセットの計算を実行する。 GNNPipeはグラフ分割を処理する各GPUと比較して、グラフの並列処理と比較して、GNN層の数による通信量を削減する。 GNNPipeは、依存チャンクに分割し、過去の頂点埋め込みを使用できるようにし、収束を保証するために特定のトレーニングテクニックを適用することで、グラフ全体のパイプライン層レベルのモデル並列性に関するユニークな課題を克服する。 また,gnnpipeとグラフ並列処理を組み合わせることで,大規模グラフを処理し,計算機資源の利用性の向上とモデル収束の確保を両立させる手法を提案する。 我々は3つの並列性設定すべてをサポートする汎用的なGNNトレーニングシステムを構築した。 広範な実験により,1時間当たりのトレーニング時間を最大2.45x(平均1.58x)削減し,通信量とオーバーヘッドを最大22.89xと27.21x(平均8.69xと11.60x)削減し,グラフ並列処理と同等の精度と収束速度を実現していることが示された。

関連論文リスト

• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [28.464210819376593]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。