論文の概要: BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing

• arxiv url: http://arxiv.org/abs/2112.08541v1
• Date: Thu, 16 Dec 2021 00:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 16:25:18.478514
• Title: BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
• Title（参考訳）: BGL: グラフデータI/Oと前処理の最適化によるGPU効率の良いGNNトレーニング
• Authors: Tianfeng Liu (1 and 3), Yangrui Chen (2 and 3), Dan Li (1), Chuan Wu (2), Yibo Zhu (3), Jun He (3), Yanghua Peng (3), Hongzheng Chen (3 and 4), Hongzhi Chen (3), Chuanxiong Guo (3) ((1) Tsinghua University, (2) The University of Hong Kong, (3) ByteDance, (4) Cornell University)
• Abstract要約: グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have extended the success of deep neural networks (DNNs) to non-Euclidean graph data, achieving ground-breaking performance on various tasks such as node classification and graph property prediction. Nonetheless, existing systems are inefficient to train large graphs with billions of nodes and edges with GPUs. The main bottlenecks are the process of preparing data for GPUs - subgraph sampling and feature retrieving. This paper proposes BGL, a distributed GNN training system designed to address the bottlenecks with a few key ideas. First, we propose a dynamic cache engine to minimize feature retrieving traffic. By a co-design of caching policy and the order of sampling, we find a sweet spot of low overhead and high cache hit ratio. Second, we improve the graph partition algorithm to reduce cross-partition communication during subgraph sampling. Finally, careful resource isolation reduces contention between different data preprocessing stages. Extensive experiments on various GNN models and large graph datasets show that BGL significantly outperforms existing GNN training systems by 20.68x on average.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)を非ユークリッドグラフデータに拡張し、ノード分類やグラフ特性予測といったさまざまなタスクにおいて、画期的なパフォーマンスを実現している。 それでも、既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 主なボトルネックは、GPUのデータ準備プロセスである、サブグラフサンプリングと機能検索である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。 まず,機能検索トラフィックを最小限に抑える動的キャッシュエンジンを提案する。 キャッシュポリシとサンプリング順序の共設計により、オーバーヘッドが低く、キャッシュヒット率が高いスイートスポットが見つかる。 第2に,グラフ分割アルゴリズムを改善し,サブグラフサンプリング時のクロスパーティショニング通信を削減する。 最後に、注意深いリソース分離は、異なるデータ前処理ステージ間の競合を減らす。 様々なGNNモデルと大規模なグラフデータセットに関する大規模な実験により、BGLは既存のGNNトレーニングシステムよりも平均20.68倍高い性能を示している。

関連論文リスト

• FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale [29.272368697268433]
  グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータに対して大きな優位性を示している。 我々は,大規模なGNNのサンプリングベーストレーニングを高速化するGPU効率のフレームワークであるFastGLを提案する。 FastGLは、最先端フレームワークであるPyG、DGL、GNNLabに対して平均11.8x、2.2x、1.5xのスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2024-09-23T11:45:47Z)
• Can Graph Reordering Speed Up Graph Neural Network Training? An Experimental Study [13.354505458409957]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習することができる。 グラフのばらつきは、最適以下のメモリアクセスパターンと長いトレーニング時間をもたらす。 グラフの並べ替えは、CPUおよびGPUベースのトレーニングのトレーニング時間を削減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-17T12:28:02Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Graph Neural Network Training with Data Tiering [16.02267628659034]
  グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。 しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。 本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-10T19:35:10Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs [22.63888380481248]
  DistDGLは、マシンのクラスタ上で、ミニバッチ方式でGNNをトレーニングするシステムである。 これは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現することがわかった。
  論文  参考訳（メタデータ） (2020-10-11T20:22:26Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。