論文の概要: Graph Neural Network Training Systems: A Performance Comparison of Full-Graph and Mini-Batch

• arxiv url: http://arxiv.org/abs/2406.00552v2
• Date: Sat, 8 Jun 2024 05:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 23:25:32.795171
• Title: Graph Neural Network Training Systems: A Performance Comparison of Full-Graph and Mini-Batch
• Title（参考訳）: グラフニューラルネットワークトレーニングシステム:フルグラフとミニバッチの性能比較
• Authors: Saurabh Bajaj, Hui Guan, Marco Serafini,
• Abstract要約: グラフニューラルネットワーク(GNN)は,近年,グラフ構造化データの表現を学習する能力から注目されている。 GNNのトレーニングには、ミニバッチトレーニングとフルグラフトレーニングの2つの一般的な方法がある。 本稿では,全グラフとミニバッチGNNトレーニングシステムの総合的な比較実験を行い,現場における技術状況のより明確な画像を得る。
• 参考スコア（独自算出の注目度）: 6.29195812532801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have gained significant attention in recent years due to their ability to learn representations of graph structured data. Two common methods for training GNNs are mini-batch training and full-graph training. Since these two methods require different training pipelines and systems optimizations, two separate categories of GNN training systems emerged, each tailored for one method. Works that introduce systems belonging to a particular category predominantly compare them with other systems within the same category, offering limited or no comparison with systems from the other category. Some prior work also justifies its focus on one specific training method by arguing that it achieves higher accuracy than the alternative. The literature, however, has incomplete and contradictory evidence in this regard. In this paper, we provide a comprehensive empirical comparison of full-graph and mini-batch GNN training systems to get a clearer picture of the state of the art in the field. We find that the mini-batch training systems we consider consistently converge faster than the full-graph training ones across multiple datasets, GNN models, and system configurations, with speedups between 2.4x - 15.2x. We also find that both training techniques converge to similar accuracy values, so comparing systems across the two categories in terms of time-to-accuracy is a sound approach.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,近年,グラフ構造化データの表現を学習する能力から注目されている。 GNNのトレーニングには、ミニバッチトレーニングとフルグラフトレーニングの2つの一般的な方法がある。 これらの2つの手法は異なる訓練パイプラインとシステム最適化を必要とするため、GNN訓練システムの2つの異なるカテゴリが出現し、それぞれが1つの方法に適している。 特定のカテゴリに属するシステムを紹介する作品は、主に同じカテゴリに属する他のシステムと比較し、他のカテゴリに属するシステムと限定的または全く比較しない。 いくつかの先行研究は、ある特定のトレーニング方法に焦点をあてることも正当化している。 しかし、この文献には不完全かつ矛盾した証拠がある。 本稿では,全グラフとミニバッチGNNトレーニングシステムの総合的な比較実験を行い,現場における最先端技術のより明確な画像を得る。 ミニバッチトレーニングシステムは、複数のデータセット、GNNモデル、システム構成にまたがるフルグラフトレーニングシステムよりも一貫して収束し、2.4倍から15.2倍のスピードアップを実現している。 また、両方のトレーニング手法が類似の精度値に収束していることがわかり、時間から精度の点で2つのカテゴリのシステムを比較することは健全なアプローチである。

関連論文リスト

• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Towards Sparsification of Graph Neural Networks [9.568566305616656]
  我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。 実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
  論文  参考訳（メタデータ） (2022-09-11T01:39:29Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)
• Scalable Graph Neural Network Training: The Case for Sampling [4.9201378771958675]
  グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。 グラフデータの不規則性から、効率的にトレーニングすることは難しい。 文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
  論文  参考訳（メタデータ） (2021-05-05T20:44:10Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Distributed Training of Graph Convolutional Networks using Subgraph Approximation [72.89940126490715]
  本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。 サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
  論文  参考訳（メタデータ） (2020-12-09T09:23:49Z)
• Two-stage Training of Graph Neural Networks for Graph Classification [24.11791971161264]
  グラフニューラルネットワーク(GNN)は、グラフ上の機械学習分野において大きな注目を集めている。 本研究では,三重項損失に基づく二段階学習フレームワークを提案する。 本研究は,各GNNの割り当て能力の精度と利用率を,元の学習法よりも一貫した向上を実証する。
  論文  参考訳（メタデータ） (2020-11-10T13:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。