論文の概要: Communication-Free Distributed GNN Training with Vertex Cut
- arxiv url: http://arxiv.org/abs/2308.03209v1
- Date: Sun, 6 Aug 2023 21:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 16:01:42.445573
- Title: Communication-Free Distributed GNN Training with Vertex Cut
- Title（参考訳）: 頂点カットを用いた通信自由分散GNN訓練
- Authors: Kaidi Cao, Rui Deng, Shirley Wu, Edward W Huang, Karthik Subbian, Jure
Leskovec
- Abstract要約: CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
- 参考スコア（独自算出の注目度）: 63.22674903170953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training Graph Neural Networks (GNNs) on real-world graphs consisting of
billions of nodes and edges is quite challenging, primarily due to the
substantial memory needed to store the graph and its intermediate node and edge
features, and there is a pressing need to speed up the training process. A
common approach to achieve speed up is to divide the graph into many smaller
subgraphs, which are then distributed across multiple GPUs in one or more
machines and processed in parallel. However, existing distributed methods
require frequent and substantial cross-GPU communication, leading to
significant time overhead and progressively diminishing scalability. Here, we
introduce CoFree-GNN, a novel distributed GNN training framework that
significantly speeds up the training process by implementing communication-free
training. The framework utilizes a Vertex Cut partitioning, i.e., rather than
partitioning the graph by cutting the edges between partitions, the Vertex Cut
partitions the edges and duplicates the node information to preserve the graph
structure. Furthermore, the framework maintains high model accuracy by
incorporating a reweighting mechanism to handle a distorted graph distribution
that arises from the duplicated nodes. We also propose a modified DropEdge
technique to further speed up the training process. Using an extensive set of
experiments on real-world networks, we demonstrate that CoFree-GNN speeds up
the GNN training process by up to 10 times over the existing state-of-the-art
GNN training approaches.
- Abstract（参考訳）: 数十億のノードとエッジからなる実世界のグラフ上でのグラフニューラルネットワーク(gnns)のトレーニングは、主にグラフとその中間ノードとエッジの機能を格納するために必要な実質的なメモリを必要とするため、非常に困難である。
スピードアップを達成するための一般的なアプローチは、グラフを多数の小さなサブグラフに分割し、1つ以上のマシンで複数のGPUに分散し、並列に処理する。
しかし、既存の分散メソッドは、頻繁で実質的なgpu間通信を必要とし、かなりの時間のオーバーヘッドと徐々にスケーラビリティが低下する。
本稿では,コミュニケーションフリートレーニングを実装することで,学習プロセスを著しく高速化する分散GNNトレーニングフレームワークであるCoFree-GNNを紹介する。
このフレームワークはVertex Cutパーティショニング(すなわちグラフをパーティショニングする)を利用しており、パーティショニング間のエッジを切断する代わりに、Vertex Cutはエッジをパーティショニングし、ノード情報を複製してグラフ構造を保存する。
さらに、重複ノードから生じる歪みグラフ分布を処理するために、再重み付け機構を組み込むことにより、高いモデル精度を維持する。
また,トレーニングプロセスの高速化を目的としたDropEdgeの改良手法を提案する。
実世界のネットワーク上での広範な実験を用いて、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。
グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。
本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
論文 参考訳（メタデータ） (2024-06-25T14:57:38Z) - CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。
低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。
また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-02T20:55:39Z) - Adaptive Message Quantization and Parallelization for Distributed
Full-graph GNN Training [6.557328947642343]
大きなグラフ上のグラフニューラルネットワーク(GNN)の分散フルグラフトレーニングは、帯域幅の要求と時間を要する。
本稿では,分散フルグラフ学習を高速化する効率的なGNNトレーニングシステムであるAdaQPを提案する。
論文 参考訳（メタデータ） (2023-06-02T09:02:09Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Distributed Training of Graph Convolutional Networks using Subgraph
Approximation [72.89940126490715]
本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。
サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
論文 参考訳（メタデータ） (2020-12-09T09:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。