論文の概要: FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale

• arxiv url: http://arxiv.org/abs/2409.14939v1
• Date: Mon, 23 Sep 2024 11:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 15:15:39.785071
• Title: FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
• Title（参考訳）: FastGL: 大規模なサンプリングベースGNNトレーニングを高速化するためのGPU効率の良いフレームワーク
• Authors: Zeyu Zhu, Peisong Wang, Qinghao Hu, Gang Li, Xiaoyao Liang, Jian Cheng,
• Abstract要約: グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータに対して大きな優位性を示している。 我々は,大規模なGNNのサンプリングベーストレーニングを高速化するGPU効率のフレームワークであるFastGLを提案する。 FastGLは、最先端フレームワークであるPyG、DGL、GNNLabに対して平均11.8x、2.2x、1.5xのスピードアップを達成することができる。
• 参考スコア（独自算出の注目度）: 29.272368697268433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown great superiority on non-Euclidean graph data, achieving ground-breaking performance on various graph-related tasks. As a practical solution to train GNN on large graphs with billions of nodes and edges, the sampling-based training is widely adopted by existing training frameworks. However, through an in-depth analysis, we observe that the efficiency of existing sampling-based training frameworks is still limited due to the key bottlenecks lying in all three phases of sampling-based training, i.e., subgraph sample, memory IO, and computation. To this end, we propose FastGL, a GPU-efficient Framework for accelerating sampling-based training of GNN at Large scale by simultaneously optimizing all above three phases, taking into account both GPU characteristics and graph structure. Specifically, by exploiting the inherent overlap within graph structures, FastGL develops the Match-Reorder strategy to reduce the data traffic, which accelerates the memory IO without incurring any GPU memory overhead. Additionally, FastGL leverages a Memory-Aware computation method, harnessing the GPU memory's hierarchical nature to mitigate irregular data access during computation. FastGL further incorporates the Fused-Map approach aimed at diminishing the synchronization overhead during sampling. Extensive experiments demonstrate that FastGL can achieve an average speedup of 11.8x, 2.2x and 1.5x over the state-of-the-art frameworks PyG, DGL, and GNNLab, respectively.Our code is available at https://github.com/a1bc2def6g/fastgl-ae.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータに対して大きな優位性を示し、様々なグラフ関連タスクにおいて画期的な性能を実現している。 数十億のノードとエッジを持つ巨大なグラフ上でGNNをトレーニングするための実用的なソリューションとして、サンプリングベースのトレーニングは既存のトレーニングフレームワークで広く採用されている。 しかし、詳細な分析により、サンプリングベーストレーニングの3段階、すなわちサブグラフサンプル、メモリIO、計算といった主要なボトルネックのため、既存のサンプリングベーストレーニングフレームワークの効率は依然として制限されていることが分かる。 この目的のために我々は,GPU特性とグラフ構造の両方を考慮した,GNNの大規模サンプリングベーストレーニングを同時に最適化するGPU効率のよいフレームワークであるFastGLを提案する。 具体的には、グラフ構造に固有の重複を利用して、FastGLはデータトラフィックを減らすためのMatch-Reorder戦略を開発し、GPUメモリオーバーヘッドを発生させることなくメモリIOを高速化する。 さらに、FastGLはメモリ・アウェアの計算手法を活用し、GPUメモリの階層性を利用して計算中に不規則なデータアクセスを緩和する。 FastGLはさらに、サンプリング時の同期オーバーヘッドの低減を目的としたFused-Mapアプローチを取り入れている。 大規模な実験により、FastGLは最先端のフレームワークであるPyG、DGL、GNNLabに対して平均11.8x、2.2x、1.5倍のスピードアップを達成することができた。

関連論文リスト

• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
  論文  参考訳（メタデータ） (2023-06-28T17:22:15Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs [17.264420882897017]
  大規模なオフライン時間グラフニューラルネットワークトレーニングのための統合フレームワークであるTGLを提案する。 TGLは5つの主要コンポーネント、時間サンプリング、メールボックス、ノードメモリモジュール、メモリ更新、メッセージパッシングエンジンから構成される。 我々は、0.2と13億の時間エッジを持つ2つの大規模な実世界のデータセットを紹介した。
  論文  参考訳（メタデータ） (2022-03-28T16:41:18Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)
• DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs [22.63888380481248]
  DistDGLは、マシンのクラスタ上で、ミニバッチ方式でGNNをトレーニングするシステムである。 これは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現することがわかった。
  論文  参考訳（メタデータ） (2020-10-11T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。