論文の概要: Reducing Communication in Graph Neural Network Training

• arxiv url: http://arxiv.org/abs/2005.03300v3
• Date: Wed, 2 Sep 2020 20:35:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 22:56:42.858332
• Title: Reducing Communication in Graph Neural Network Training
• Title（参考訳）: グラフニューラルネットワークトレーニングにおけるコミュニケーションの削減
• Authors: Alok Tripathy, Katherine Yelick, Aydin Buluc
• Abstract要約: グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are powerful and flexible neural networks that use the naturally sparse connectivity information of the data. GNNs represent this connectivity as sparse matrices, which have lower arithmetic intensity and thus higher communication costs compared to dense matrices, making GNNs harder to scale to high concurrencies than convolutional or fully-connected neural networks. We introduce a family of parallel algorithms for training GNNs and show that they can asymptotically reduce communication compared to previous parallel GNN training methods. We implement these algorithms, which are based on 1D, 1.5D, 2D, and 3D sparse-dense matrix multiplication, using torch.distributed on GPU-equipped clusters. Our algorithms optimize communication across the full GNN training pipeline. We train GNNs on over a hundred GPUs on multiple datasets, including a protein network with over a billion edges.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 GNNはこの接続を、演算強度が低く、通信コストが高くなるスパース行列として表現しているため、GNNは畳み込みニューラルネットワークや完全接続ニューラルネットワークよりも高速にスケールすることが難しい。 我々は,GNNを訓練するための並列アルゴリズム群を導入し,従来の並列GNN訓練法と比較して漸近的に通信を削減できることを示す。 このアルゴリズムは,1D,1.5D,2D,3Dスパース・デンス行列の乗算をGPUクラスタ上に分散した torch.distributed を用いて実装した。 我々のアルゴリズムは全GNNトレーニングパイプライン間の通信を最適化する。 私たちは、複数のデータセット上で100以上のGPU上でGNNをトレーニングしています。

関連論文リスト

• Graph Coordinates and Conventional Neural Networks -- An Alternative for Graph Neural Networks [0.10923877073891444]
  メッセージパッシングGNNの新たな代替手段として,Topology Coordinate Neural Network (TCNN) と Directional Virtual Coordinate Neural Network (DVCNN) を提案する。 TCNNとDVCNNは、メッセージパッシングGNNの競合や優れたパフォーマンスを達成する。 私たちの研究は、グラフベースの機械学習のためのテクニックのツールボックスを拡張します。
  論文  参考訳（メタデータ） (2023-12-03T10:14:10Z)
• GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
  分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
  論文  参考訳（メタデータ） (2023-08-19T18:44:14Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting [0.38073142980733]
  グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。 GNNのための強化型メタラーナを提案する。 AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
  論文  参考訳（メタデータ） (2021-08-14T03:07:26Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。