論文の概要: An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
- arxiv url: http://arxiv.org/abs/2308.15602v2
- Date: Mon, 12 Aug 2024 17:02:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 00:58:29.128031
- Title: An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
- Title（参考訳）: 分散グラフニューラルネットワークトレーニングのための分割戦略の実験的検討
- Authors: Nikolai Merkel, Daniel Stoll, Ruben Mayer, Hans-Arno Jacobsen,
- Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習可能な深層学習の領域として注目されている。
本稿では,分散GNN学習におけるグラフ分割の有効性について検討する。
高品質なグラフ分割は、GNNトレーニングを高速化し、メモリ消費を減らすために非常に効果的な最適化であることがわかった。
- 参考スコア（独自算出の注目度）: 13.354505458409957
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, graph neural networks (GNNs) have gained much attention as a growing area of deep learning capable of learning on graph-structured data. However, the computational and memory requirements for training GNNs on large-scale graphs make it necessary to distribute the training. A prerequisite for distributed GNN training is to partition the input graph into smaller parts that are distributed among multiple machines of a compute cluster. Although graph partitioning has been studied with regard to graph analytics and graph databases, its effect on GNN training performance is largely unexplored. As a consequence, it is unclear whether investing computational efforts into high-quality graph partitioning would pay off in GNN training scenarios. In this paper, we study the effectiveness of graph partitioning for distributed GNN training. Our study aims to understand how different factors such as GNN parameters, mini-batch size, graph type, features size, and scale-out factor influence the effectiveness of graph partitioning. We conduct experiments with two different GNN systems using vertex and edge partitioning. We found that high-quality graph partitioning is a very effective optimization to speed up GNN training and to reduce memory consumption. Furthermore, our results show that invested partitioning time can quickly be amortized by reduced GNN training time, making it a relevant optimization for most GNN scenarios. Compared to research on distributed graph processing, our study reveals that graph partitioning plays an even more significant role in distributed GNN training, which motivates further research on the graph partitioning problem.
- Abstract（参考訳）: 近年,グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習可能な深層学習の領域として注目されている。
しかし、大規模グラフ上でGNNをトレーニングするための計算とメモリの要求は、トレーニングを分散させる必要がある。
分散GNNトレーニングの前提条件は、入力グラフを計算クラスタの複数のマシンに分散する小さな部分に分割することである。
グラフのパーティショニングはグラフ解析やグラフデータベースに関して研究されているが、GNNのトレーニング性能への影響は明らかになっていない。
結果として、GNNのトレーニングシナリオにおいて、高品質なグラフ分割に計算努力を投資するかどうかは明らかでない。
本稿では,分散GNN学習におけるグラフ分割の有効性について検討する。
本研究の目的は, GNNパラメータ, ミニバッチサイズ, グラフタイプ, 特徴量, スケールアウト係数などの異なる因子が, グラフ分割の有効性にどのように影響するかを理解することである。
ヴァーテックスとエッジパーティショニングを用いた2つの異なるGNNシステムによる実験を行った。
高品質なグラフ分割は、GNNトレーニングを高速化し、メモリ消費を減らすために非常に効果的な最適化であることがわかった。
さらに,GNNのトレーニング時間を削減することで,投資したパーティショニング時間を短縮できることを示す。
分散グラフ処理の研究と比較すると,グラフ分割は分散GNNトレーニングにおいてさらに重要な役割を担っており,グラフ分割問題に対するさらなる研究の動機となっている。
関連論文リスト
- Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。
グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。
グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
論文 参考訳（メタデータ） (2024-09-17T12:28:02Z) - Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。
GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。
11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
論文 参考訳（メタデータ） (2024-07-16T03:59:18Z) - CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。
低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。
また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-02T20:55:39Z) - GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural
Properties of Graphs [5.410321469222541]
産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。
GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。
実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
論文 参考訳（メタデータ） (2024-01-06T02:59:24Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文 参考訳（メタデータ） (2020-06-15T22:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。