論文の概要: Demystifying Distributed Training of Graph Neural Networks for Link Prediction

• arxiv url: http://arxiv.org/abs/2506.20818v1
• Date: Wed, 25 Jun 2025 20:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.881459
• Title: Demystifying Distributed Training of Graph Neural Networks for Link Prediction
• Title（参考訳）: リンク予測のためのグラフニューラルネットワークの分散トレーニング
• Authors: Xin Huang, Chul-Ho Lee,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ関連の問題を解決する強力なツールである。 本稿では,性能劣化問題を調査し,リンク予測のためのGNNの分散トレーニングについて検討する。 本研究では,グラフスペーシフィケーションを効果的に活用し,通信コストの低減による性能劣化を緩和するSpLPGを提案する。
• 参考スコア（独自算出の注目度）: 7.125495588888206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) are powerful tools for solving graph-related problems. Distributed GNN frameworks and systems enhance the scalability of GNNs and accelerate model training, yet most are optimized for node classification. Their performance on link prediction remains underexplored. This paper demystifies distributed training of GNNs for link prediction by investigating the issue of performance degradation when each worker trains a GNN on its assigned partitioned subgraph without having access to the entire graph. We discover that the main sources of the issue come from not only the information loss caused by graph partitioning but also the ways of drawing negative samples during model training. While sharing the complete graph information with each worker resolves the issue and preserves link prediction accuracy, it incurs a high communication cost. We propose SpLPG, which effectively leverages graph sparsification to mitigate the issue of performance degradation at a reduced communication cost. Experiment results on several public real-world datasets demonstrate the effectiveness of SpLPG, which reduces the communication overhead by up to about 80% while mostly preserving link prediction accuracy.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ関連の問題を解決する強力なツールである。 分散GNNフレームワークとシステムは、GNNのスケーラビリティを高め、モデルトレーニングを加速するが、多くはノード分類に最適化されている。 リンク予測における彼らの業績はいまだ未定である。 本稿では,各作業者がグラフ全体にアクセスすることなく,割り当てられた分割されたサブグラフ上でGNNをトレーニングする場合に,性能劣化の問題を調査することにより,リンク予測のためのGNNの分散トレーニングを行う。 問題の主な原因は,グラフ分割による情報損失だけでなく,モデルトレーニング中に負のサンプルを描画する方法にも起因している。 完全なグラフ情報を各ワーカと共有すると、その問題は解決し、リンク予測精度が保たれるが、通信コストが高い。 本研究では,グラフスペーシフィケーションを効果的に活用し,通信コストの低減による性能劣化を緩和するSpLPGを提案する。 複数のパブリックな実世界のデータセットに対する実験結果から、SpLPGの有効性が示され、リンク予測精度をほぼ保ちながら、通信オーバーヘッドを最大80%削減できる。

関連論文リスト

• OMEGA: A Low-Latency GNN Serving System for Large Graphs [8.51634655687174]
  グラフニューラルネットワーク(GNN)は、グラフデータセットにおける表現ノード表現の計算能力に広く採用されている。 既存のトレーニングにおける近似技術はオーバーヘッドを軽減することができるが、サービスでは高いレイテンシと/または精度の損失につながる。 本稿では,低遅延GNNを最小限の精度でグラフに役立てるシステムであるOMEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-15T03:14:18Z)
• Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。 ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。 訓練されたGNNからグラフを盗むという新しい問題について検討する。
  論文  参考訳（メタデータ） (2024-11-17T23:15:36Z)
• MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
  本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。 NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
  論文  参考訳（メタデータ） (2024-10-30T05:10:38Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
  グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。 既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。 本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T16:29:10Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。