論文の概要: Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training

• arxiv url: http://arxiv.org/abs/2604.02651v1
• Date: Fri, 03 Apr 2026 02:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.284493
• Title: Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
• Title（参考訳）: スケーラブルなミニバッチGNNトレーニングのための通信不要サンプリングと4次元ハイブリッド並列処理
• Authors: Cunyang Wei, Siddharth Singh, Aishwarya Sarkar, Daniel Nichols, Tisha Patel, Aditya K. Ranjan, Sayan Ghosh, Ali Jannesari, Nathan R. Tallent, Abhinav Bhatele,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータセットの学習に広く使用されている。 サンプリングによるミニバッチは、GNNトレーニングを並列化するための一般的なアプローチである。 スケーラブルなミニバッチトレーニングのための4D並列フレームワークであるScaleGNNを紹介する。
• 参考スコア（独自算出の注目度）: 11.562509892499328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) are widely used for learning on graph datasets derived from various real-world scenarios. Learning from extremely large graphs requires distributed training, and mini-batching with sampling is a popular approach for parallelizing GNN training. Existing distributed mini-batch approaches have significant performance bottlenecks due to expensive sampling methods and limited scaling when using data parallelism. In this work, we present ScaleGNN, a 4D parallel framework for scalable mini-batch GNN training that combines communication-free distributed sampling, 3D parallel matrix multiplication (PMM), and data parallelism. ScaleGNN introduces a uniform vertex sampling algorithm, enabling each process (GPU device) to construct its local mini-batch, i.e., subgraph partitions without any inter-process communication. 3D PMM enables scaling mini-batch training to much larger GPU counts than vanilla data parallelism with significantly lower communication overheads. We also present additional optimizations to overlap sampling with training, reduce communication overhead by sending data in lower precision, kernel fusion, and communication-computation overlap. We evaluate ScaleGNN on five graph datasets and demonstrate strong scaling up to 2048 GPUs on Perlmutter, 2048 GCDs on Frontier, and 1024 GPUs on Tuolumne. On Perlmutter, ScaleGNN achieves 3.5x end-to-end training speedup over the SOTA baseline on ogbn-products.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまな実世界のシナリオから派生したグラフデータセットの学習に広く使用されている。 非常に大きなグラフから学ぶには、分散トレーニングが必要であり、サンプリングによるミニバッチは、GNNトレーニングを並列化するための一般的なアプローチである。 既存の分散ミニバッチアプローチは、高価なサンプリング方法とデータ並列性を使用する場合のスケーリングの制限により、大きなパフォーマンスボトルネックがある。 本研究では,通信不要な分散サンプリング,3次元並列行列乗算(PMM),データ並列性を組み合わせた,スケーラブルなミニバッチGNNトレーニングのための4D並列フレームワークであるScaleGNNを提案する。 ScaleGNNは均一な頂点サンプリングアルゴリズムを導入し、各プロセス(GPUデバイス)がそのローカルなミニバッチ、すなわちサブグラフパーティションをプロセス間通信なしで構築できるようにする。 3D PMMは、通信オーバーヘッドを大幅に低減したバニラデータ並列処理よりもはるかに大きなGPUカウントへのミニバッチトレーニングのスケーリングを可能にする。 また、サンプリングとトレーニングの重複、より精度の低いデータ送信による通信オーバーヘッドの低減、カーネル融合、通信-計算オーバーラップなどの最適化も提案する。 5つのグラフデータセットでScaleGNNを評価し、Perlmutterで最大2048GPU、Frontierで2048GCD、Tuolumneで1024GPUの強力なスケーリングを示す。 Perlmutterでは、ScaleGNNはogbn-productsのSOTAベースライン上で3.5倍のエンドツーエンドのトレーニングスピードアップを実現している。

関連論文リスト

• Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training [5.1420473428862605]
  グラフニューラルネットワーク(GNN)は、実世界のグラフの接続性と構造を利用して、ノード間の複雑な特性と関係を学習する。 多くの実世界のグラフはGPUのメモリ容量を超えており、そのようなグラフ上でのGNNのトレーニングには、スケールするためにミニバッチサンプリングのような技術が必要である。 本稿では、これらの問題に対処し、数十億のエッジグラフにスケールするフルグラフトレーニングのための3次元並列アプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-07T02:49:52Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
  本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。 入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。 新たなサンプリング方法に加えて,行列に基づくバルクサンプリング手法を用いて,エンドツーエンドのトレーニング結果を提供するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-06T06:40:43Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism [6.3568605707961]
  ミニバッチトレーニングは、大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするために一般的に使用される。 本稿では,スプリット・パララリズム(split parallelism)と呼ばれる,ハイブリッド並列型ミニバッチ・トレーニングパラダイムを提案する。 分割並列性はDGLやQuiver,P3$といった最先端のミニバッチトレーニングシステムよりも優れています。
  論文  参考訳（メタデータ） (2023-03-24T03:28:05Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。