Fugu-MT 論文翻訳(概要): Accurate, Efficient and Scalable Training of Graph Neural Networks

論文の概要: Accurate, Efficient and Scalable Training of Graph Neural Networks

arxiv url: http://arxiv.org/abs/2010.03166v1
Date: Mon, 5 Oct 2020 22:06:23 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 22:35:46.390273
Title: Accurate, Efficient and Scalable Training of Graph Neural Networks
Title（参考訳）: グラフニューラルネットワークの高精度、効率的、スケーラブルなトレーニング
Authors: Hanqing Zeng and Hongkuan Zhou and Ajitesh Srivastava and Rajgopal Kannan and Viktor Prasanna
Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
参考スコア（独自算出の注目度）: 9.569918335816963
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) are powerful deep learning models to generate node embeddings on graphs. When applying deep GNNs on large graphs, it is still challenging to perform training in an efficient and scalable way. We propose a novel parallel training framework. Through sampling small subgraphs as minibatches, we reduce training workload by orders of magnitude compared with state-of-the-art minibatch methods. We then parallelize the key computation steps on tightly-coupled shared memory systems. For graph sampling, we exploit parallelism within and across sampler instances, and propose an efficient data structure supporting concurrent accesses from samplers. The parallel sampler theoretically achieves near-linear speedup with respect to number of processing units. For feature propagation within subgraphs, we improve cache utilization and reduce DRAM traffic by data partitioning. Our partitioning is a 2-approximation strategy for minimizing the communication cost compared to the optimal. We further develop a runtime scheduler to reorder the training operations and adjust the minibatch subgraphs to improve parallel performance. Finally, we generalize the above parallelization strategies to support multiple types of GNN models and graph samplers. The proposed training outperforms the state-of-the-art in scalability, efficiency and accuracy simultaneously. On a 40-core Xeon platform, we achieve 60x speedup (with AVX) in the sampling step and 20x speedup in the feature propagation step, compared to the serial implementation. Our algorithm enables fast training of deeper GNNs, as demonstrated by orders of magnitude speedup compared to the Tensorflow implementation. We open-source our code at https://github.com/GraphSAINT/GraphSAINT.
Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフにノード埋め込みを生成する強力なディープラーニングモデルである。大きなグラフに深いGNNを適用する場合、効率的でスケーラブルな方法でトレーニングを実行することは依然として難しい。我々は新しい並列トレーニングフレームワークを提案する。ミニバッチとして小さなサブグラフをサンプリングすることで、最先端のミニバッチメソッドと比較してトレーニングワークロードを桁違いに削減できる。次に、密結合共有メモリシステムにおける鍵となる計算ステップを並列化する。グラフサンプリングでは,サンプルインスタンス内の並列性を利用して,サンプルからの同時アクセスをサポートする効率的なデータ構造を提案する。並列サンプリング器は、処理ユニット数に関して理論的にニアリニアスピードアップを達成する。サブグラフ内の機能伝搬のために、キャッシュ利用を改善し、データ分割によるDRAMトラフィックを削減する。我々の分割は、最適な通信コストを最小化するための2近似戦略である。さらに、トレーニング操作を再順序付けし、ミニバッチサブグラフを調整して並列性能を向上させるランタイムスケジューラを開発した。最後に、上記並列化戦略を一般化し、複数の種類のGNNモデルとグラフサンプリングをサポートする。提案したトレーニングは,スケーラビリティ,効率性,精度を同時に向上させる。 40コアのXeonプラットフォームでは,サンプリングステップで60倍,特徴伝搬ステップで20倍,シリアル実装で20倍の高速化を実現している。我々のアルゴリズムは,Tensorflowの実装と比較して,桁違いのスピードアップで示すように,より深いGNNの高速トレーニングを可能にする。私たちはコードをhttps://github.com/GraphSAINT/GraphSAINTでオープンソース化しています。

関連論文リスト

Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。新たなサンプリング方法に加えて,行列に基づくバルクサンプリング手法を用いて,エンドツーエンドのトレーニング結果を提供するパイプラインを導入する。
論文参考訳（メタデータ） (2023-11-06T06:40:43Z)
Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文参考訳（メタデータ） (2023-10-23T01:25:44Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism [6.3568605707961]
ミニバッチトレーニングは、大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするために一般的に使用される。本稿では,スプリット・パララリズム(split parallelism)と呼ばれる,ハイブリッド並列型ミニバッチ・トレーニングパラダイムを提案する。分割並列性はDGLやQuiver,P3$といった最先端のミニバッチトレーニングシステムよりも優れています。
論文参考訳（メタデータ） (2023-03-24T03:28:05Z)
Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-09T17:51:13Z)
A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文参考訳（メタデータ） (2022-10-14T03:43:05Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文参考訳（メタデータ） (2021-12-16T00:37:37Z)
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。本稿では,これらのボトルネックを緩和する一連の改良点について述べる。また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文参考訳（メタデータ） (2021-10-16T02:41:35Z)
Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。これをC&S(Correct and Smooth)と呼ぶ。我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文参考訳（メタデータ） (2020-10-27T02:10:52Z)
GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms [1.2183405753834562]
グラフ畳み込みネットワーク(GCN)は、グラフ上での表現学習のための最先端のディープラーニングモデルとして登場した。実質的かつ不規則なデータ通信のため、GCNの訓練を加速することは困難である。我々はCPU-FPGAヘテロジニアスシステム上でGCNをトレーニングするための新しいアクセラレータを設計する。
論文参考訳（メタデータ） (2019-12-31T21:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。