論文の概要: MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs

• arxiv url: http://arxiv.org/abs/2410.22697v2
• Date: Sun, 03 Nov 2024 18:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:55.104727
• Title: MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs
• Title（参考訳）: MassiveGNN: 大規模連結分散グラフのプレフェッチによる効率的なトレーニング
• Authors: Aishwarya Sarkar, Sayan Ghosh, Nathan R. Tallent, Ali Jannesari,
• Abstract要約: 本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。 NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
• 参考スコア（独自算出の注目度）: 11.026326555186333
• License:
• Abstract: Graph Neural Networks (GNN) are indispensable in learning from graph-structured data, yet their rising computational costs, especially on massively connected graphs, pose significant challenges in terms of execution performance. To tackle this, distributed-memory solutions such as partitioning the graph to concurrently train multiple replicas of GNNs are in practice. However, approaches requiring a partitioned graph usually suffer from communication overhead and load imbalance, even under optimal partitioning and communication strategies due to irregularities in the neighborhood minibatch sampling. This paper proposes practical trade-offs for improving the sampling and communication overheads for representation learning on distributed graphs (using popular GraphSAGE architecture) by developing a parameterized continuous prefetch and eviction scheme on top of the state-of-the-art Amazon DistDGL distributed GNN framework, demonstrating about 15-40% improvement in end-to-end training performance on the National Energy Research Scientific Computing Center's (NERSC) Perlmutter supercomputer for various OGB datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学ぶのに必須であるが、計算コストの増大、特に大規模連結グラフでは、実行性能の面で大きな課題が生じる。 これを解決するために、グラフをパーティショニングして複数のGNNのレプリカを同時にトレーニングするといった分散メモリソリューションが実践されている。 しかしながら、分割グラフを必要とするアプローチは、通常、近所のミニバッチサンプリングの不規則性による最適な分割と通信戦略の下でも、通信オーバーヘッドと負荷不均衡に悩まされる。 本稿では,最新のAmazon DistDGL分散GNNフレームワーク上にパラメタライズされた連続プリフェッチ・エビクション・スキームを開発することで,分散グラフ上での表現学習のサンプリングと通信のオーバーヘッドを改善するための実践的なトレードオフを提案し,その性能をNational Energy Research Scientific Computing Center(NERSC) Perlmutter Super computer for various OGB datasetsで15～40%向上したことを示す。

関連論文リスト

• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。 本稿では,分散GNN訓練における通信複雑性について検討する。 グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
  論文  参考訳（メタデータ） (2022-12-11T04:54:01Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Distributed Optimization of Graph Convolutional Network using Subgraph Variance [8.510726499008204]
  グラフ拡張に基づく分散GCNフレームワーク(GAD)を提案する。 GADには、GAD-PartitionとGAD-rの2つの主要コンポーネントがある。 我々のフレームワークは通信オーバーヘッドを50%削減し、最先端手法と比較して収束速度(2X)と精度(0.45%)をわずかに向上させる。
  論文  参考訳（メタデータ） (2021-10-06T18:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。