論文の概要: Scalable Graph Convolutional Network Training on Distributed-Memory
Systems
- arxiv url: http://arxiv.org/abs/2212.05009v2
- Date: Tue, 13 Dec 2022 12:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 13:59:45.434676
- Title: Scalable Graph Convolutional Network Training on Distributed-Memory
Systems
- Title（参考訳）: 分散メモリシステムにおけるスケーラブルグラフ畳み込みネットワークトレーニング
- Authors: Gunduz Vehbi Demirci, Aparajita Haldar, Hakan Ferhatosmanoglu
- Abstract要約: グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 5.169989177779801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Convolutional Networks (GCNs) are extensively utilized for deep
learning on graphs. The large data sizes of graphs and their vertex features
make scalable training algorithms and distributed memory systems necessary.
Since the convolution operation on graphs induces irregular memory access
patterns, designing a memory- and communication-efficient parallel algorithm
for GCN training poses unique challenges. We propose a highly parallel training
algorithm that scales to large processor counts. In our solution, the large
adjacency and vertex-feature matrices are partitioned among processors. We
exploit the vertex-partitioning of the graph to use non-blocking point-to-point
communication operations between processors for better scalability. To further
minimize the parallelization overheads, we introduce a sparse matrix
partitioning scheme based on a hypergraph partitioning model for full-batch
training. We also propose a novel stochastic hypergraph model to encode the
expected communication volume in mini-batch training. We show the merits of the
hypergraph model, previously unexplored for GCN training, over the standard
graph partitioning model which does not accurately encode the communication
costs. Experiments performed on real-world graph datasets demonstrate that the
proposed algorithms achieve considerable speedups over alternative solutions.
The optimizations achieved on communication costs become even more pronounced
at high scalability with many processors. The performance benefits are
preserved in deeper GCNs having more layers as well as on billion-scale graphs.
- Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフの大規模データサイズとその頂点機能は、スケーラブルなトレーニングアルゴリズムと分散メモリシステムを必要とする。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
本ソリューションでは,プロセッサ間で大きな隣接行列と頂点特徴行列を分割する。
我々は,グラフの頂点分割を利用して,プロセッサ間のノンブロッキングなポイント・ツー・ポイント通信操作を用いてスケーラビリティを向上させる。
さらに並列化のオーバーヘッドを最小限に抑えるため,フルバッチ学習のためのハイパーグラフ分割モデルに基づくスパース行列分割方式を提案する。
また,ミニバッチ訓練において期待通信量をエンコードする確率的ハイパーグラフモデルを提案する。
通信コストを正確にエンコードしない標準グラフ分割モデルに対して,これまでGCNトレーニングで探索されていなかったハイパーグラフモデルの利点を示す。
実世界のグラフデータセットで行った実験は、提案アルゴリズムが代替ソリューションよりもかなりのスピードアップを達成することを示した。
通信コストの最適化は、多くのプロセッサで高いスケーラビリティでさらに顕著になる。
パフォーマンス上のメリットは、数十億のグラフだけでなく、より深いgcnにも保存される。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳（メタデータ） (2022-03-05T00:28:43Z) - GIST: Distributed Training for Large-Scale Graph Convolutional Networks [18.964079367668262]
GISTはハイブリッド層とグラフサンプリング手法であり、グローバルモデルをいくつかの小さなサブGCNに分割する。
この分散フレームワークはモデルのパフォーマンスを改善し、ウォールクロックのトレーニング時間を大幅に短縮します。
GISTは、グラフ機械学習とディープラーニングの既存のギャップを埋めることを目的として、大規模なGCN実験を可能にすることを目指している。
論文 参考訳（メタデータ） (2021-02-20T19:25:38Z) - Distributed Training of Graph Convolutional Networks using Subgraph
Approximation [72.89940126490715]
本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。
サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
論文 参考訳（メタデータ） (2020-12-09T09:23:49Z) - Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。
効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。
本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-05T22:06:23Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z) - GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms [1.2183405753834562]
グラフ畳み込みネットワーク(GCN)は、グラフ上での表現学習のための最先端のディープラーニングモデルとして登場した。
実質的かつ不規則なデータ通信のため、GCNの訓練を加速することは困難である。
我々はCPU-FPGAヘテロジニアスシステム上でGCNをトレーニングするための新しいアクセラレータを設計する。
論文 参考訳（メタデータ） (2019-12-31T21:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。