論文の概要: TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs

• arxiv url: http://arxiv.org/abs/2203.14883v1
• Date: Mon, 28 Mar 2022 16:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 16:00:50.661672
• Title: TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs
• Title（参考訳）: TGL: 数十億グラフの時間的GNNトレーニングのための一般的なフレームワーク
• Authors: Hongkuan Zhou, Da Zheng, Israt Nisa, Vasileios Ioannidis, Xiang Song, George Karypis
• Abstract要約: 大規模なオフライン時間グラフニューラルネットワークトレーニングのための統合フレームワークであるTGLを提案する。 TGLは5つの主要コンポーネント、時間サンプリング、メールボックス、ノードメモリモジュール、メモリ更新、メッセージパッシングエンジンから構成される。 我々は、0.2と13億の時間エッジを持つ2つの大規模な実世界のデータセットを紹介した。
• 参考スコア（独自算出の注目度）: 17.264420882897017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real world graphs contain time domain information. Temporal Graph Neural Networks capture temporal information as well as structural and contextual information in the generated dynamic node embeddings. Researchers have shown that these embeddings achieve state-of-the-art performance in many different tasks. In this work, we propose TGL, a unified framework for large-scale offline Temporal Graph Neural Network training where users can compose various Temporal Graph Neural Networks with simple configuration files. TGL comprises five main components, a temporal sampler, a mailbox, a node memory module, a memory updater, and a message passing engine. We design a Temporal-CSR data structure and a parallel sampler to efficiently sample temporal neighbors to formtraining mini-batches. We propose a novel random chunk scheduling technique that mitigates the problem of obsolete node memory when training with a large batch size. To address the limitations of current TGNNs only being evaluated on small-scale datasets, we introduce two large-scale real-world datasets with 0.2 and 1.3 billion temporal edges. We evaluate the performance of TGL on four small-scale datasets with a single GPU and the two large datasets with multiple GPUs for both link prediction and node classification tasks. We compare TGL with the open-sourced code of five methods and show that TGL achieves similar or better accuracy with an average of 13x speedup. Our temporal parallel sampler achieves an average of 173x speedup on a multi-core CPU compared with the baselines. On a 4-GPU machine, TGL can train one epoch of more than one billion temporal edges within 1-10 hours. To the best of our knowledge, this is the first work that proposes a general framework for large-scale Temporal Graph Neural Networks training on multiple GPUs.
• Abstract（参考訳）: 多くの実世界のグラフは時間領域情報を含んでいる。 時間グラフニューラルネットワークは、生成された動的ノードの埋め込みにおける時間情報だけでなく、構造的および文脈的情報をキャプチャする。 研究者は、これらの埋め込みが様々なタスクで最先端のパフォーマンスを達成することを証明した。 本研究では,大規模なオフライン時間グラフニューラルネットワークトレーニングのための統合フレームワークであるTGLを提案する。 tglは、テンポラリサンプラー、メールボックス、ノードメモリモジュール、メモリ更新器、メッセージパッシングエンジンの5つの主要コンポーネントから構成されている。 我々は、時間-CSRデータ構造と並列サンプリング器を設計し、時間的近傍を効率的にサンプルし、ミニバッチを定式化する。 本稿では,バッチサイズが大きいトレーニングにおいて,ノードメモリの古くなった問題を緩和する新しいランダムチャンクスケジューリング手法を提案する。 小規模データセットでのみ評価される現在のtgnnの制限に対処するために,0.2と13億の時間エッジを持つ2つの大規模実世界データセットを導入する。 1つのGPUを持つ4つの小規模データセットと、リンク予測とノード分類タスクの両方のための複数のGPUを持つ2つの大規模データセットにおけるTGLの性能を評価する。 我々はTGLを5つのメソッドのオープンソースコードと比較し、TGLが平均13倍の高速化で類似またはより良い精度を達成することを示す。 我々の時間並列サンプリングは,ベースラインと比較して,マルチコアCPU上での平均173倍の高速化を実現している。 4-GPUマシンでは、TGLは1-10時間以内に10億以上の時間エッジの1エポックをトレーニングすることができる。 我々の知る限りでは、これは複数のGPUでトレーニングする大規模時間グラフニューラルネットワークのための一般的なフレームワークを提案する最初の作業である。

関連論文リスト

• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
  本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。 入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。 新たなサンプリング方法に加えて,行列に基づくバルクサンプリング手法を用いて,エンドツーエンドのトレーニング結果を提供するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-06T06:40:43Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs [22.63888380481248]
  DistDGLは、マシンのクラスタ上で、ミニバッチ方式でGNNをトレーニングするシステムである。 これは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現することがわかった。
  論文  参考訳（メタデータ） (2020-10-11T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。