論文の概要: Distributed Graph Neural Network Training with Periodic Historical
Embedding Synchronization
- arxiv url: http://arxiv.org/abs/2206.00057v1
- Date: Tue, 31 May 2022 18:44:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 13:11:20.441085
- Title: Distributed Graph Neural Network Training with Periodic Historical
Embedding Synchronization
- Title(参考訳): 周期的埋め込み同期を用いた分散グラフニューラルネットワークトレーニング
- Authors: Zheng Chai, Guangji Bai, Liang Zhao, Yue Cheng
- Abstract要約: グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。
従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。
本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
- 参考スコア(独自算出の注目度): 9.503080586294406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent success of Graph Neural Networks (GNNs), it remains
challenging to train a GNN on large graphs, which are prevalent in various
applications such as social network, recommender systems, and knowledge graphs.
Traditional sampling-based methods accelerate GNN by dropping edges and nodes,
which impairs the graph integrity and model performance. Differently,
distributed GNN algorithms, which accelerate GNN training by utilizing multiple
computing devices, can be classified into two types: "partition-based" methods
enjoy low communication costs but suffer from information loss due to dropped
edges, while "propagation-based" methods avoid information loss but suffer
prohibitive communication overhead. To jointly address these problems, this
paper proposes DIstributed Graph Embedding SynchronizaTion (DIGEST), a novel
distributed GNN training framework that synergizes the complementary strength
of both categories of existing methods. During subgraph parallel training, we
propose to let each device store the historical embedding of its neighbors in
other subgraphs. Therefore, our method does not discard any neighbors in other
subgraphs, nor does it updates them intensively. This effectively avoids (1)
the intensive computation on explosively-increasing neighbors and (2) excessive
communications across different devices. We proved that the approximation error
induced by the staleness of historical embedding can be upper bounded and it
does NOT affect the GNN model's expressiveness. More importantly, our
convergence analysis demonstrates that DIGEST enjoys a state-of-the-art
convergence rate. Extensive experimental evaluation on large, real-world graph
datasets shows that DIGEST achieves up to $21.82\times$ speedup without
compromising the performance compared to state-of-the-art distributed GNN
training frameworks.
- Abstract(参考訳): 最近のグラフニューラルネットワーク(GNN)の成功にもかかわらず、ソーシャルネットワークやレコメンダシステム、ナレッジグラフなど、さまざまなアプリケーションで広く使われている大きなグラフ上でGNNをトレーニングすることは、依然として困難である。
従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。
分散gnnアルゴリズムは、複数の計算装置を利用することでgnnトレーニングを加速するが、通信コストは低く、エッジの低下による情報損失を被る"partition-based"メソッドと、情報損失を回避する"propagation-based"メソッドの2つのタイプに分類できる。
このような問題に共同で対処するために,既存手法の両カテゴリの相補的強度を相補する分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
サブグラフ並列トレーニングでは,各デバイスが近隣の過去の埋め込みを他のサブグラフに格納するように提案する。
したがって,本手法は他のサブグラフの隣人を排除したり,更新を集中的に行わない。
これにより、(1)爆発的に増加する隣人に対する集中的な計算が回避され、(2)異なるデバイス間での過剰な通信が回避される。
歴史的埋没の安定性によって生じる近似誤差は上限値であり,GNNモデルの表現性には影響しないことを示した。
さらに、我々の収束分析は、DIGESTが最先端の収束速度を享受していることを示している。
大規模で実世界のグラフデータセットに対する大規模な実験的評価は、DIGESTが最先端の分散GNNトレーニングフレームワークと比較してパフォーマンスを損なうことなく、最大21.82\times$スピードアップを達成することを示している。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳(メタデータ) (2024-06-04T07:24:51Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳(メタデータ) (2023-12-19T12:25:10Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - Staleness-Alleviated Distributed GNN Training via Online
Dynamic-Embedding Prediction [13.575053193557697]
本稿では,新しい分散GNNトレーニングフレームワークSAT(Staleness-Alleviated Training)を提案する。
SATのキーとなる考え方は、GNNの埋め込み進化を時間グラフとしてモデル化し、その上にモデルを構築し、将来の埋め込みを予測することである。
実験により,SATは埋込安定性を効果的に低減し,より優れた性能と収束速度を実現することができることを示した。
論文 参考訳(メタデータ) (2023-08-25T16:10:44Z) - Expediting Distributed DNN Training with Device Topology-Aware Graph
Deployment [18.021259939659874]
TAGは、最適化されたDNNトレーニンググラフとそのデバイストポロジへのデプロイを導出する自動システムである。
既存のスキームと比較して最大4.56倍のトレーニングスピードアップを実現可能であることを示す。
論文 参考訳(メタデータ) (2023-02-13T06:30:24Z) - 2-hop Neighbor Class Similarity (2NCS): A graph structural metric
indicative of graph neural network performance [4.051099980410583]
グラフニューラルネットワーク(GNN)は、多数のドメインにわたるグラフ構造化データに対して最先端のパフォーマンスを実現する。
異なるタイプのノードが接続されるヘテロ親和性グラフでは、GNNは一貫して機能しない。
2-hop Neighbor Class similarity (2NCS) は、GNNのパフォーマンスと、他の指標よりも強く、一貫して相関する新しい定量的グラフ構造特性である。
論文 参考訳(メタデータ) (2022-12-26T16:16:51Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳(メタデータ) (2022-03-31T16:21:12Z) - Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。
TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
論文 参考訳(メタデータ) (2022-01-14T09:04:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。