論文の概要: MG-GCN: Scalable Multi-GPU GCN Training Framework

• arxiv url: http://arxiv.org/abs/2110.08688v1
• Date: Sun, 17 Oct 2021 00:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 17:11:50.557184
• Title: MG-GCN: Scalable Multi-GPU GCN Training Framework
• Title（参考訳）: MG-GCN: スケーラブルマルチGPUGCNトレーニングフレームワーク
• Authors: Muhammed Fatih Bal{\i}n and Kaan Sancak and \"Umit V. \c{C}ataly\"urek
• Abstract要約: グラフ畳み込みネットワーク(GCN)モデルの完全なバッチトレーニングは、大きなグラフのための単一のGPUでは実現できない。 MG-GCNは、メモリバッファの効率的な再使用を含む、複数のハイパフォーマンスコンピューティング最適化を採用している。 MG-GCNは、DGX-1(V100)とDGX-A100の両方のRedditグラフ上で、DGLに関する超線形スピードアップを達成する。
• 参考スコア（独自算出の注目度）: 1.7188280334580197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full batch training of Graph Convolutional Network (GCN) models is not feasible on a single GPU for large graphs containing tens of millions of vertices or more. Recent work has shown that, for the graphs used in the machine learning community, communication becomes a bottleneck and scaling is blocked outside of the single machine regime. Thus, we propose MG-GCN, a multi-GPU GCN training framework taking advantage of the high-speed communication links between the GPUs present in multi-GPU systems. MG-GCN employs multiple High-Performance Computing optimizations, including efficient re-use of memory buffers to reduce the memory footprint of training GNN models, as well as communication and computation overlap. These optimizations enable execution on larger datasets, that generally do not fit into memory of a single GPU in state-of-the-art implementations. Furthermore, they contribute to achieve superior speedup compared to the state-of-the-art. For example, MG-GCN achieves super-linear speedup with respect to DGL, on the Reddit graph on both DGX-1 (V100) and DGX-A100.
• Abstract（参考訳）: Graph Convolutional Network(GCN)モデルの完全なバッチトレーニングは、数千万の頂点を含む巨大なグラフのための単一のGPUでは実現できない。 最近の研究によると、機械学習コミュニティで使用されるグラフでは、通信がボトルネックとなり、単一のマシン体制の外でスケーリングがブロックされる。 そこで我々は,マルチGPUシステムに存在するGPU間の高速通信リンクを利用したマルチGPUGCNトレーニングフレームワークMG-GCNを提案する。 MG-GCNは、GNNモデルのメモリフットプリントを減らすためにメモリバッファの効率的な再使用や、通信と計算の重複など、複数の高性能コンピューティング最適化を採用している。 これらの最適化は、通常、最先端の実装で単一のgpuのメモリに適合しない、より大きなデータセット上での実行を可能にする。 さらに、最先端に比べて優れたスピードアップを達成するのに寄与する。 例えば、MG-GCNはDGX-1(V100)とDGX-A100の両方のRedditグラフ上で、DGLに関する超線形スピードアップを達成する。

関連論文リスト

• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
  論文  参考訳（メタデータ） (2023-06-28T17:22:15Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms [28.25823488936712]
  マルチGPUプラットフォーム上でのフルグラフGNNを高速化するシステム設計であるMGGを提案する。 MGGの中核は、GPUカーネル内での微粒な計算通信オーバラップを容易にする、新しい動的ソフトウェアパイプラインである。 MGGは様々な設定で最先端のフルグラフGNNシステムより優れている。
  論文  参考訳（メタデータ） (2022-09-14T17:32:28Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Efficient Scaling of Dynamic Graph Neural Networks [7.313571385612325]
  これは、動的グラフニューラルネットワークに関する最初のスケーリング研究である。 我々はGPUメモリ使用量を削減するメカニズムを考案した。 我々は、転送時間を著しく短縮するグラフ差分に基づく戦略を設計する。
  論文  参考訳（メタデータ） (2021-09-16T11:51:20Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture [19.2129567657739]
  グラフ畳み込みネットワーク(gcns)は大規模グラフベースのレコメンデーションシステムでますます採用されている。 現在のGCNトレーニングシステムは、フィーチャーテーブルをホストメモリに保持し、スパース機能の収集にCPUに依存している。 しかしこのアプローチは、ホストメモリの帯域幅とCPUに大きなプレッシャーを与えます。 本稿では,GPUスレッドがホストメモリのスパース機能に直接アクセスするGCNトレーニングのための新しいGPU指向データ通信手法を提案する。
  論文  参考訳（メタデータ） (2021-03-04T21:00:17Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。