論文の概要: Sampling-based Distributed Training with Message Passing Neural Network
- arxiv url: http://arxiv.org/abs/2402.15106v1
- Date: Fri, 23 Feb 2024 05:33:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 15:41:56.642082
- Title: Sampling-based Distributed Training with Message Passing Neural Network
- Title(参考訳): メッセージパッシングニューラルネットワークを用いたサンプリング型分散トレーニング
- Authors: Priyesh Kakka, Sheel Nidhan, Rishikesh Ranade and Jonathan F. MacArt
- Abstract要約: ドメイン分割に基づくメッセージパッシングニューラルネットワーク(MPNN)のための分散トレーニングと推論手法を提案する。
我々はDS-MPNN(DとSは分散してサンプリングされる)と呼ばれるスケーラブルなグラフニューラルネットワークを提案し、最大$O(105)のノードをスケーリングできる。
- 参考スコア(独自算出の注目度): 1.2113799398011764
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this study, we introduce a domain-decomposition-based distributed training
and inference approach for message-passing neural networks (MPNN). Our
objective is to address the challenge of scaling edge-based graph neural
networks as the number of nodes increases. Through our distributed training
approach, coupled with Nystr\"om-approximation sampling techniques, we present
a scalable graph neural network, referred to as DS-MPNN (D and S standing for
distributed and sampled, respectively), capable of scaling up to $O(10^5)$
nodes. We validate our sampling and distributed training approach on two cases:
(a) a Darcy flow dataset and (b) steady RANS simulations of 2-D airfoils,
providing comparisons with both single-GPU implementation and node-based graph
convolution networks (GCNs). The DS-MPNN model demonstrates comparable accuracy
to single-GPU implementation, can accommodate a significantly larger number of
nodes compared to the single-GPU variant (S-MPNN), and significantly
outperforms the node-based GCN.
- Abstract(参考訳): 本研究では,ドメイン分割に基づくメッセージパッシングニューラルネットワーク(MPNN)のための分散トレーニングと推論手法を提案する。
私たちの目標は、ノード数の増加に伴ってエッジベースのグラフニューラルネットワークをスケールすることの課題に対処することです。
分散トレーニングアプローチを通じて、Nystr\"om-approximation sample techniqueと組み合わせて、DS-MPNN(DとSはそれぞれ分散用とサンプル用)と呼ばれるスケーラブルなグラフニューラルネットワークを提案し、最大$O(10^5)のノードをスケールアップできる。
サンプリングと分散トレーニングのアプローチを2つのケースで検証する。
(a)ダーシーフローデータセット及び
b) 単一GPU実装とノードベースグラフ畳み込みネットワーク(GCN)を比較した2次元翼のRANSシミュレーションを行った。
DS-MPNNモデルはシングルGPU実装に匹敵する精度を示し、シングルGPU変種(S-MPNN)と比較してノード数が大幅に増加し、ノードベースGCNよりも大幅に向上する。
関連論文リスト
- Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。
GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。
分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
論文 参考訳(メタデータ) (2022-11-10T06:22:12Z) - Graph Neural Network Based Node Deployment for Throughput Enhancement [20.56966053013759]
本稿では,ネットワークノード配置問題に対する新しいグラフニューラルネットワーク(GNN)手法を提案する。
提案手法の理論的サポートとして,表現型GNNが関数値とトラフィック置換の両方を近似する能力を持つことを示す。
論文 参考訳(メタデータ) (2022-08-19T08:06:28Z) - Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。
我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。
いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
論文 参考訳(メタデータ) (2022-06-02T02:59:55Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - Non-Recursive Graph Convolutional Networks [33.459371861932574]
非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。
NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。
このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
論文 参考訳(メタデータ) (2021-05-09T08:12:18Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳(メタデータ) (2020-06-07T07:06:35Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。