論文の概要: DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2104.06700v3
• Date: Fri, 16 Apr 2021 15:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 11:57:44.185248
• Title: DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks
• Title（参考訳）: DistGNN: 大規模グラフニューラルネットワークのためのスケーラブルな分散トレーニング
• Authors: Vasimuddin Md, Sanchit Misra, Guixiang Ma, Ramanarayan Mohanty, Evangelos Georganas, Alexander Heinecke, Dhiraj Kalamkar, Nesreen K. Ahmed, Sasikanth Avancha
• Abstract要約: 大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
• 参考スコア（独自算出の注目度）: 58.48833325238537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-batch training on Graph Neural Networks (GNN) to learn the structure of large graphs is a critical problem that needs to scale to hundreds of compute nodes to be feasible. It is challenging due to large memory capacity and bandwidth requirements on a single compute node and high communication volumes across multiple nodes. In this paper, we present DistGNN that optimizes the well-known Deep Graph Library (DGL) for full-batch training on CPU clusters via an efficient shared memory implementation, communication reduction using a minimum vertex-cut graph partitioning algorithm and communication avoidance using a family of delayed-update algorithms. Our results on four common GNN benchmark datasets: Reddit, OGB-Products, OGB-Papers and Proteins, show up to 3.7x speed-up using a single CPU socket and up to 97x speed-up using 128 CPU sockets, respectively, over baseline DGL implementations running on a single CPU socket
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)による大規模グラフの構造を学ぶためのフルバッチトレーニングは、数百の計算ノードにスケールする必要がある重要な問題である。 単一の計算ノードにおける大きなメモリ容量と帯域幅の要求と、複数のノードにわたる高い通信量のため、これは難しい。 本稿では,効率的な共有メモリ実装によるcpuクラスタのフルバッチトレーニングのためによく知られたディープグラフライブラリ(dgl)を最適化するdistgnn,最小頂点カットグラフ分割アルゴリズムを用いた通信削減,遅延更新アルゴリズムのファミリを用いた通信回避を提案する。 Reddit, OGB-Products, OGB-Papers, Proteinsの4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップを示し、128のCPUソケットを使用して最大97倍のスピードアップを実現した。

関連論文リスト

• LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme [12.64360444043247]
  グラフニューラルネットワーク(GNN)は、今日ではリコメンデーションシステム、不正検出、ノード/リンク分類タスクで広く使われている。 限られたメモリ容量に対応するため、従来のGNNトレーニングアプローチでは、グラフ分割とシャーディング技術を使用している。 大規模ストレージベースマルチGPUGNNフレームワーク(LSM-GNN)を提案する。 LSM-GNNは、静的ノード情報と動的ノード情報の両方を用いて、キャッシュ空間をインテリジェントに管理するハイブリッドな消去ポリシーを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-21T20:41:39Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• BatchGNN: Efficient CPU-Based Distributed GNN Training on Very Large Graphs [2.984386665258243]
  BatchGNNは、テラバイト規模のグラフ上でGNNを効率的にトレーニングするテクニックを披露する分散CPUシステムである。 BatchGNNは、OGBNグラフでトレーニングされた3つのGNNモデルに対して、DistDGLよりも平均3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-06-23T23:25:34Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• DistGNN-MB: Distributed Large-Scale Graph Neural Network Training on x86 via Minibatch Sampling [3.518762870118332]
  DistGNN-MBは、広く使われているDistDGLより5.2倍速い。 このスケールでは、DistGNN-MB は GraphSAGE と GAT 10x と 17.2x をそれぞれ高速化し、計算ノードは 2 から 32 にスケールした。
  論文  参考訳（メタデータ） (2022-11-11T18:07:33Z)
• GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching [2.654276707313136]
  GNNIEは、幅広いグラフニューラルネットワーク(GNN)を実行するために設計されたアクセラレータである。 i)ノード特徴オペランドをブロックに分割し、 (ii) 再注文と再配布を行い、 (iii) 処理要素間の通信オーバーヘッドの少ない柔軟なMACアーキテクチャを使用する。 GNNIEは、CPU上の8890倍、グラフアテンションネットワーク(GAT)、グラフ畳み込みネットワーク(GCN)、GraphSAGE、GINConv、DiffPool上の複数のデータセット上のGPU上の295倍の平均スピードアップを達成する。
  論文  参考訳（メタデータ） (2021-05-21T20:07:14Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。