論文の概要: DistGNN-MB: Distributed Large-Scale Graph Neural Network Training on x86 via Minibatch Sampling

• arxiv url: http://arxiv.org/abs/2211.06385v1
• Date: Fri, 11 Nov 2022 18:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 17:16:17.154178
• Title: DistGNN-MB: Distributed Large-Scale Graph Neural Network Training on x86 via Minibatch Sampling
• Title（参考訳）: DistGNN-MB:ミニバッチサンプリングによるx86上の分散大規模グラフニューラルネットワークトレーニング
• Authors: Md Vasimuddin, Ramanarayan Mohanty, Sanchit Misra, Sasikanth Avancha
• Abstract要約: DistGNN-MBは、広く使われているDistDGLより5.2倍速い。 このスケールでは、DistGNN-MB は GraphSAGE と GAT 10x と 17.2x をそれぞれ高速化し、計算ノードは 2 から 32 にスケールした。
• 参考スコア（独自算出の注目度）: 3.518762870118332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Graph Neural Networks, on graphs containing billions of vertices and edges, at scale using minibatch sampling poses a key challenge: strong-scaling graphs and training examples results in lower compute and higher communication volume and potential performance loss. DistGNN-MB employs a novel Historical Embedding Cache combined with compute-communication overlap to address this challenge. On a 32-node (64-socket) cluster of $3^{rd}$ generation Intel Xeon Scalable Processors with 36 cores per socket, DistGNN-MB trains 3-layer GraphSAGE and GAT models on OGBN-Papers100M to convergence with epoch times of 2 seconds and 4.9 seconds, respectively, on 32 compute nodes. At this scale, DistGNN-MB trains GraphSAGE 5.2x faster than the widely-used DistDGL. DistGNN-MB trains GraphSAGE and GAT 10x and 17.2x faster, respectively, as compute nodes scale from 2 to 32.
• Abstract（参考訳）: 数十億の頂点とエッジを含むグラフ上のグラフニューラルネットワークのトレーニングでは、ミニバッチサンプリングを使用した大規模なトレーニングが重要な課題となっている。 DistGNN-MBはこの課題に対処するために、新しい履歴埋め込みキャッシュと計算通信オーバーラップを組み合わせた。 32ノード(64ソケット)の3^{rd}$世代のintel xeonスケーラブルプロセッサでは、distgnn-mbは3層グラフsageとgatモデルをogbn-papers100mでトレーニングし、それぞれ32の計算ノード上でエポックタイム2秒と4.9秒で収束する。 この規模では、DistGNN-MBは広く使われているDistDGLの5.2倍の速度でGraphSAGEを運行している。 DistGNN-MB は GraphSAGE と GAT 10x と 17.2x をそれぞれ高速化し、計算ノードは 2 から 32 にスケールする。

関連論文リスト

• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
  分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
  論文  参考訳（メタデータ） (2023-08-19T18:44:14Z)
• BatchGNN: Efficient CPU-Based Distributed GNN Training on Very Large Graphs [2.984386665258243]
  BatchGNNは、テラバイト規模のグラフ上でGNNを効率的にトレーニングするテクニックを披露する分散CPUシステムである。 BatchGNNは、OGBNグラフでトレーニングされた3つのGNNモデルに対して、DistDGLよりも平均3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-06-23T23:25:34Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching [2.654276707313136]
  GNNIEは、幅広いグラフニューラルネットワーク(GNN)を実行するために設計されたアクセラレータである。 i)ノード特徴オペランドをブロックに分割し、 (ii) 再注文と再配布を行い、 (iii) 処理要素間の通信オーバーヘッドの少ない柔軟なMACアーキテクチャを使用する。 GNNIEは、CPU上の8890倍、グラフアテンションネットワーク(GAT)、グラフ畳み込みネットワーク(GCN)、GraphSAGE、GINConv、DiffPool上の複数のデータセット上のGPU上の295倍の平均スピードアップを達成する。
  論文  参考訳（メタデータ） (2021-05-21T20:07:14Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。