論文の概要: GNNFlow: A Distributed Framework for Continuous Temporal GNN Learning on Dynamic Graphs

• arxiv url: http://arxiv.org/abs/2311.17410v1
• Date: Wed, 29 Nov 2023 07:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 22:17:38.247616
• Title: GNNFlow: A Distributed Framework for Continuous Temporal GNN Learning on Dynamic Graphs
• Title（参考訳）: GNNFlow - 動的グラフによる継続的時間的GNN学習のための分散フレームワーク
• Authors: Yuchen Zhong, Guangming Sheng, Tianzuo Qin, Minjie Wang, Quan Gan, and Chuan Wu
• Abstract要約: 本稿では,効率的な時間的グラフ表現学習のための分散フレームワークであるGNNFlowを紹介する。 GNNFlowは、負荷バランスを確保するために、静的スケジューリングを備えた複数のマシンでの分散トレーニングをサポートする。 実験の結果,GNNFlowは既存のシステムに比べて最大21.1倍高速な継続的学習を実現することがわかった。
• 参考スコア（独自算出の注目度）: 11.302970701867844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) play a crucial role in various fields. However, most existing deep graph learning frameworks assume pre-stored static graphs and do not support training on graph streams. In contrast, many real-world graphs are dynamic and contain time domain information. We introduce GNNFlow, a distributed framework that enables efficient continuous temporal graph representation learning on dynamic graphs on multi-GPU machines. GNNFlow introduces an adaptive time-indexed block-based data structure that effectively balances memory usage with graph update and sampling operation efficiency. It features a hybrid GPU-CPU graph data placement for rapid GPU-based temporal neighborhood sampling and kernel optimizations for enhanced sampling processes. A dynamic GPU cache for node and edge features is developed to maximize cache hit rates through reuse and restoration strategies. GNNFlow supports distributed training across multiple machines with static scheduling to ensure load balance. We implement GNNFlow based on DGL and PyTorch. Our experimental results show that GNNFlow provides up to 21.1x faster continuous learning than existing systems.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々な分野で重要な役割を果たしている。 しかし、既存のディープグラフ学習フレームワークの多くは、事前ストアされた静的グラフを前提としており、グラフストリームのトレーニングをサポートしていない。 対照的に、現実世界のグラフの多くは動的であり、時間領域情報を含んでいる。 GNNFlowは,マルチGPUマシン上で動的グラフの効率的な連続時間グラフ表現学習を実現する分散フレームワークである。 GNNFlowは、メモリ使用量とグラフ更新とサンプリング操作効率を効果的にバランスさせる適応時間インデックスブロックベースのデータ構造を導入している。 高速GPUベースの時間領域サンプリングのためのハイブリッドGPU-CPUグラフデータ配置と、強化サンプリングプロセスのためのカーネル最適化を備えている。 ノードとエッジ機能のための動的GPUキャッシュを開発し、再利用と復元戦略を通じてキャッシュヒット率を最大化する。 GNNFlowは、負荷バランスを確保するために静的スケジューリングを備えた複数のマシンでの分散トレーニングをサポートする。 DGLとPyTorchに基づいたGNNFlowを実装した。 実験の結果,GNNFlowは既存のシステムに比べて最大21.1倍高速な継続的学習を実現することがわかった。

関連論文リスト

• D3-GNN: Dynamic Distributed Dataflow for Streaming Graph Neural Networks [2.3283463706065763]
  ストリーミンググラフ上のグラフニューラルネットワーク(GNN)モデルには、その動的状態を継続的にキャプチャするアルゴリズム上の課題が伴う。 D3-GNNは、オンラインクエリ設定下でリアルタイムグラフ更新を処理するように設計された、最初の分散並列型ストリーミングGNNシステムである。
  論文  参考訳（メタデータ） (2024-09-10T11:00:43Z)
• DGC: Training Dynamic Graphs with Spatio-Temporal Non-Uniformity using Graph Partitioning by Chunks [13.279145021338534]
  動的グラフニューラルネットワーク(DGNN)は、空間的特徴と時間的特徴の両方を利用して動的グラフを学習する強力な能力を示している。 DGCは分散DGNNトレーニングシステムであり,テストベッドにおける最先端技術よりも1.25倍から7.52倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-09-07T07:12:59Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Towards Real-Time Temporal Graph Learning [10.647431919265346]
  本稿では、時間グラフ構築を行い、低次元ノード埋め込みを生成し、オンライン環境でニューラルネットワークモデルを訓練するエンドツーエンドグラフ学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-10-08T22:14:31Z)
• Instant Graph Neural Networks for Dynamic Graphs [18.916632816065935]
  Instant Graph Neural Network (InstantGNN) を提案する。 提案手法は,時間を要する反復計算を回避し,表現の即時更新と即時予測を可能にする。 本モデルでは,既存手法よりも高精度かつ高次精度で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-03T03:27:42Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。