論文の概要: GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism

• arxiv url: http://arxiv.org/abs/2303.13775v1
• Date: Fri, 24 Mar 2023 03:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:53:50.765587
• Title: GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism
• Title（参考訳）: gsplit: スプリットパラレル主義による大規模グラフ上のグラフニューラルネットワークトレーニング
• Authors: Sandeep Polisetty, Juelin Liu, Kobi Falus, Yi Ren Fung, Seung-Hwan Lim, Hui Guan, Marco Serafini
• Abstract要約: ミニバッチトレーニングは、大きなグラフでトレーニングするために一般的に採用されている。 我々は、GNNトレーニングシステムの基本的なパフォーマンスボトルネックが、データ並列アプローチの固有の制限と関係していると主張している。 我々は、gsplitと呼ばれる新しいシステムで分割並列性を実装し、DGL、Quiver、PaGraphといった最先端システムより優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.670950633923445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale graphs with billions of edges are ubiquitous in many industries, science, and engineering fields such as recommendation systems, social graph analysis, knowledge base, material science, and biology. Graph neural networks (GNN), an emerging class of machine learning models, are increasingly adopted to learn on these graphs due to their superior performance in various graph analytics tasks. Mini-batch training is commonly adopted to train on large graphs, and data parallelism is the standard approach to scale mini-batch training to multiple GPUs. In this paper, we argue that several fundamental performance bottlenecks of GNN training systems have to do with inherent limitations of the data parallel approach. We then propose split parallelism, a novel parallel mini-batch training paradigm. We implement split parallelism in a novel system called gsplit and show that it outperforms state-of-the-art systems such as DGL, Quiver, and PaGraph.
• Abstract（参考訳）: 数十億のエッジを持つ大規模グラフは、レコメンデーションシステム、社会グラフ分析、知識ベース、物質科学、生物学など、多くの産業、科学、工学の分野で広く使われている。 機械学習モデルの新たなクラスであるgraph neural networks(gnn)は、さまざまなグラフ分析タスクのパフォーマンスが優れているため、これらのグラフを学習するためにますます採用されている。 ミニバッチトレーニングは大規模グラフのトレーニングに一般的に採用されており、データ並列処理は複数のGPUにミニバッチトレーニングをスケールするための標準的なアプローチである。 本稿では、GNNトレーニングシステムの基本的な性能ボトルネックは、データ並列アプローチの固有の制限と関係している、と論じる。 次に,新しい並列ミニバッチトレーニングパラダイムであるsplit parallelismを提案する。 我々は、gsplitと呼ばれる新しいシステムで分割並列性を実装し、DGL、Quiver、PaGraphといった最先端システムより優れていることを示す。

関連論文リスト

• GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
  分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
  論文  参考訳（メタデータ） (2023-08-19T18:44:14Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• GIST: Distributed Training for Large-Scale Graph Convolutional Networks [18.964079367668262]
  GISTはハイブリッド層とグラフサンプリング手法であり、グローバルモデルをいくつかの小さなサブGCNに分割する。 この分散フレームワークはモデルのパフォーマンスを改善し、ウォールクロックのトレーニング時間を大幅に短縮します。 GISTは、グラフ機械学習とディープラーニングの既存のギャップを埋めることを目的として、大規模なGCN実験を可能にすることを目指している。
  論文  参考訳（メタデータ） (2021-02-20T19:25:38Z)
• Distributed Training of Graph Convolutional Networks using Subgraph Approximation [72.89940126490715]
  本稿では,グラフの複数の分割にまたがる失われる情報をサブグラフ近似スキームで緩和するトレーニング戦略を提案する。 サブグラフ近似アプローチは、分散トレーニングシステムが単一マシン精度で収束するのに役立つ。
  論文  参考訳（メタデータ） (2020-12-09T09:23:49Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。