論文の概要: Distributed Graph Neural Network Training: A Survey
- arxiv url: http://arxiv.org/abs/2211.00216v1
- Date: Tue, 1 Nov 2022 01:57:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 13:34:21.206740
- Title: Distributed Graph Neural Network Training: A Survey
- Title（参考訳）: 分散グラフニューラルネットワークトレーニング
- Authors: Yingxia Shao, Hongzheng Li, Xizhi Gu, Hongbo Yin, Yawen Li, Xupeng
Miao, Wentao Zhang, Bin Cui, Lei Chen
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ越しに学習するディープラーニングモデルの一種であり、多くの領域でうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
- 参考スコア（独自算出の注目度）: 26.254963582297975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are a type of deep learning models that learning
over graphs, and have been successfully applied in many domains. Despite the
effectiveness of GNNs, it is still challenging for GNNs to efficiently scale to
large graphs. As a remedy, distributed computing becomes a promising solution
of training large-scale GNNs, since it is able to provide abundant computing
resources. However, the dependency of graph structure increases the difficulty
of achieving high-efficiency distributed GNN training, which suffers from the
massive communication and workload imbalance. In recent years, many efforts
have been made on distributed GNN training, and an array of training algorithms
and systems have been proposed. Yet, there is a lack of systematic review on
the optimization techniques from graph processing to distributed execution. In
this survey, we analyze three major challenges in distributed GNN training that
are massive feature communication, the loss of model accuracy and workload
imbalance. Then we introduce a new taxonomy for the optimization techniques in
distributed GNN training that address the above challenges. The new taxonomy
classifies existing techniques into four categories that are GNN data
partition, GNN batch generation, GNN execution model, and GNN communication
protocol.We carefully discuss the techniques in each category. In the end, we
summarize existing distributed GNN systems for multi-GPUs, GPU-clusters and
CPU-clusters, respectively, and give a discussion about the future direction on
scalable GNNs.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ越しに学習するディープラーニングモデルの一種であり、多くの領域でうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは、豊富なコンピューティングリソースを提供できるため、大規模GNNをトレーニングするための有望なソリューションとなる。
しかし,グラフ構造の依存性は,大規模通信と作業負荷の不均衡に苦しむ高効率分散GNNトレーニングの達成の難しさを増す。
近年,分散GNN訓練への取り組みが盛んに行われており,一連の学習アルゴリズムやシステムも提案されている。
しかし、グラフ処理から分散実行まで、最適化技術に関する体系的なレビューが欠けている。
本稿では,大規模機能通信,モデルの精度の喪失,ワークロードの不均衡といった,分散GNNトレーニングにおける3つの大きな課題を分析する。
次に,これらの課題に対処する分散GNNトレーニングにおける最適化手法の新しい分類法を提案する。
新しい分類法は,GNNデータ分割,GNNバッチ生成,GNN実行モデル,GNN通信プロトコルの4つのカテゴリに分類される。
最後に,マルチGPU,GPUクラスタ,CPUクラスタ用の既存の分散GNNシステムをまとめた上で,スケーラブルGNNの今後の方向性について論じる。
関連論文リスト
- Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。
ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。
訓練されたGNNからグラフを盗むという新しい問題について検討する。
論文 参考訳（メタデータ） (2024-11-17T23:15:36Z) - CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。
低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。
また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-02T20:55:39Z) - Graph Ladling: Shockingly Simple Parallel GNN Training without
Intermediate Communication [100.51884192970499]
GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。
GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。
本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
論文 参考訳（メタデータ） (2023-06-18T03:33:46Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳（メタデータ） (2023-03-20T18:24:01Z) - A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。
GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。
分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
論文 参考訳（メタデータ） (2022-11-10T06:22:12Z) - Characterizing and Understanding Distributed GNN Training on GPUs [2.306379679349986]
グラフニューラルネットワーク(GNN)は、グラフを学習する上で有効であるとして、多くの領域において強力なモデルであることが実証されている。
大規模グラフに対するGNNトレーニングをスケールするために、分散トレーニングが広く採用されている。
論文 参考訳（メタデータ） (2022-04-18T03:47:28Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳（メタデータ） (2021-05-10T17:59:01Z) - Computing Graph Neural Networks: A Survey from Algorithms to
Accelerators [2.491032752533246]
グラフニューラルネットワーク(GNN)は、グラフ構造化データからモデル化および学習する能力のため、近年、機械学習の現場で爆発的に普及している。
本稿では,GNNの分野をコンピュータの観点から概観する。
現在のソフトウェアとハードウェアアクセラレーションスキームの詳細な分析を行う。
論文 参考訳（メタデータ） (2020-09-30T22:29:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。