論文の概要: ABC: Aggregation before Communication, a Communication Reduction
Framework for Distributed Graph Neural Network Training and Effective
Partition
- arxiv url: http://arxiv.org/abs/2212.05410v1
- Date: Sun, 11 Dec 2022 04:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 18:06:09.664270
- Title: ABC: Aggregation before Communication, a Communication Reduction
Framework for Distributed Graph Neural Network Training and Effective
Partition
- Title(参考訳): abc: アグリゲーション・フォー・コミュニケーション、分散グラフニューラルネットワークトレーニングと効果的な分割のためのコミュニケーション低減フレームワーク
- Authors: Junwei Su
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。
本稿では,分散GNN訓練における通信複雑性について検討する。
グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks(GNNs) are a family of neural models tailored for
graph-structure data and have shown superior performance in learning
representations for graph-structured data. However, training GNNs on large
graphs remains challenging and a promising direction is distributed GNN
training, which is to partition the input graph and distribute the workload
across multiple machines. The key bottleneck of the existing distributed GNNs
training framework is the across-machine communication induced by the
dependency on the graph data and aggregation operator of GNNs. In this paper,
we study the communication complexity during distributed GNNs training and
propose a simple lossless communication reduction method, termed the
Aggregation before Communication (ABC) method. ABC method exploits the
permutation-invariant property of the GNNs layer and leads to a paradigm where
vertex-cut is proved to admit a superior communication performance than the
currently popular paradigm (edge-cut). In addition, we show that the new
partition paradigm is particularly ideal in the case of dynamic graphs where it
is infeasible to control the edge placement due to the unknown stochastic of
the graph-changing process.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルネットワークのファミリーであり、グラフ構造データの学習表現において優れた性能を示している。
しかし、大きなグラフ上でのGNNのトレーニングは依然として困難であり、入力グラフを分割し、ワークロードを複数のマシンに分散させるGNNトレーニングは有望な方向である。
既存の分散GNNトレーニングフレームワークの重要なボトルネックは、GNNのグラフデータと集約演算子への依存によって引き起こされる、マシン間通信である。
本稿では,分散GNN訓練における通信複雑性について検討し,通信前集約法(ABC)と呼ばれる単純なロスレス通信低減法を提案する。
ABC法は、GNNs層の置換不変性を利用して、頂点カットが現在普及しているパラダイム(エッジカット)よりも優れた通信性能を持つことが証明されたパラダイムにつながる。
また,新しい分割パラダイムは,グラフ変換過程の未知の確率によるエッジ配置の制御が不可能な動的グラフの場合において,特に理想的であることを示す。
関連論文リスト
- LinkSAGE: Optimizing Job Matching Using Graph Neural Networks [12.088731514483104]
本稿では、グラフニューラルネットワーク(GNN)を大規模パーソナライズされたジョブマッチングシステムに統合する革新的なフレームワークであるLinkSAGEを紹介する。
当社のアプローチは、数十億のノードとエッジを持つ、業界最大の、そして最も複雑な、新しい求人市場グラフに乗じています。
LinkSAGEの重要なイノベーションは、そのトレーニングと提供の方法論である。これは、不均一で進化するグラフ上の帰納的グラフ学習とエンコーダ-デコーダGNNモデルとを効果的に組み合わせている。
論文 参考訳(メタデータ) (2024-02-20T23:49:25Z) - Graph Coordinates and Conventional Neural Networks -- An Alternative for
Graph Neural Networks [0.10923877073891444]
メッセージパッシングGNNの新たな代替手段として,Topology Coordinate Neural Network (TCNN) と Directional Virtual Coordinate Neural Network (DVCNN) を提案する。
TCNNとDVCNNは、メッセージパッシングGNNの競合や優れたパフォーマンスを達成する。
私たちの研究は、グラフベースの機械学習のためのテクニックのツールボックスを拡張します。
論文 参考訳(メタデータ) (2023-12-03T10:14:10Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Neighborhood Convolutional Network: A New Paradigm of Graph Neural
Networks for Node Classification [12.062421384484812]
グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。
本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。
このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
論文 参考訳(メタデータ) (2022-11-15T02:02:51Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳(メタデータ) (2022-08-21T15:12:08Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳(メタデータ) (2020-09-08T13:11:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。