論文の概要: PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Pipelined Feature Communication
- arxiv url: http://arxiv.org/abs/2203.10428v1
- Date: Sun, 20 Mar 2022 02:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 15:07:09.349795
- Title: PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Pipelined Feature Communication
- Title（参考訳）: PipeGCN: パイプライン型特徴通信を用いたグラフ畳み込みネットワークの効率的なフルグラフトレーニング
- Authors: Cheng Wan, Youjie Li, Cameron R. Wolfe, Anastasios Kyrillidis, Nam
Sung Kim, Yingyan Lin
- Abstract要約: Graph Convolutional Networks (GCNs) は、グラフ構造化データを学習するための最先端の手法である。
分散GCNトレーニングは、ノード機能とパーティション間の機能勾配の通信の不要なオーバーヘッドを引き起こす。
分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽するPipeGCNを提案する。
- 参考スコア（独自算出の注目度）: 24.05916878277873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Convolutional Networks (GCNs) is the state-of-the-art method for
learning graph-structured data, and training large-scale GCNs requires
distributed training across multiple accelerators such that each accelerator is
able to hold a partitioned subgraph. However, distributed GCN training incurs
prohibitive overhead of communicating node features and feature gradients among
partitions for every GCN layer during each training iteration, limiting the
achievable training efficiency and model scalability. To this end, we propose
PipeGCN, a simple yet effective scheme that hides the communication overhead by
pipelining inter-partition communication with intra-partition computation. It
is non-trivial to pipeline for efficient GCN training, as communicated node
features/gradients will become stale and thus can harm the convergence,
negating the pipeline benefit. Notably, little is known regarding the
convergence rate of GCN training with both stale features and stale feature
gradients. This work not only provides a theoretical convergence analysis but
also finds the convergence rate of PipeGCN to be close to that of the vanilla
distributed GCN training without any staleness. Furthermore, we develop a
smoothing method to further improve PipeGCN's convergence. Extensive
experiments show that PipeGCN can largely boost the training throughput
(1.7x~28.5x) while achieving the same accuracy as its vanilla counterpart and
existing full-graph training methods. The code is available at
https://github.com/RICE-EIC/PipeGCN.
- Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを学習するための最先端の手法であり、大規模GCNの訓練には、各アクセラレータが分割されたサブグラフを保持することができるように、複数のアクセラレータ間で分散トレーニングが必要である。
しかしながら、分散GCNトレーニングは、各トレーニングイテレーション中に各GCNレイヤのパーティション間のノード機能と機能勾配の通信オーバーヘッドを禁止し、達成可能なトレーニング効率とモデルのスケーラビリティを制限します。
そこで本研究では,分割間通信と分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽する,シンプルで効果的なPipeGCNを提案する。
効率的なgcnトレーニングにはパイプラインが非自明であり、通信されたノードの機能/勾配が停滞し、パイプラインのメリットを損なう可能性がある。
特に,GCNトレーニングにおける静的特徴勾配と静的特徴勾配の収束率についてはほとんど分かっていない。
この研究は理論的収束解析を提供するだけでなく、パイプgcnの収束速度がバニラ分散gcnトレーニングのそれに近いことが判明した。
さらに,pipegcnの収束をさらに改善するための平滑化手法を開発した。
大規模な実験により、PipeGCNはトレーニングのスループット(1.7x~28.5x)を大幅に向上させつつ、バニラと既存のフルグラフのトレーニング手法と同じ精度を達成できることが示されている。
コードはhttps://github.com/RICE-EIC/PipeGCNで公開されている。
関連論文リスト
- CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction [7.048300785744331]
グラフニューラルネットワークトレーニングは、主にミニバッチとフルバッチのトレーニング方法に分類される。
分散クラスタでは、機能とグラデーションの頻繁なリモートアクセスが、通信オーバーヘッドを大きくします。
キャッシュベースの分散フルバッチグラフニューラルネットワークトレーニングフレームワーク(CDFGNN)を紹介する。
本結果は,CDFGNNが分散フルバッチGNNトレーニングタスクを高速化する大きな可能性を示唆している。
論文 参考訳（メタデータ） (2024-08-01T01:57:09Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳（メタデータ） (2024-07-26T03:14:13Z) - Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。
グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。
本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
論文 参考訳（メタデータ） (2024-06-25T14:57:38Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。
GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
論文 参考訳（メタデータ） (2023-08-19T18:44:14Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - Adaptive Message Quantization and Parallelization for Distributed
Full-graph GNN Training [6.557328947642343]
大きなグラフ上のグラフニューラルネットワーク(GNN)の分散フルグラフトレーニングは、帯域幅の要求と時間を要する。
本稿では,分散フルグラフ学習を高速化する効率的なGNNトレーニングシステムであるAdaQPを提案する。
論文 参考訳（メタデータ） (2023-06-02T09:02:09Z) - Boosting Distributed Full-graph GNN Training with Asynchronous One-bit
Communication [23.883543151975136]
大規模なグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、高いメモリ要求と限られたGPUメモリとの競合のため、難しい。
本稿では,GNNにおける1ビット量子化計算手法を用いた分散GNN学習フレームワークSylvieを提案する。
詳細は、Sylvie氏は、送信したデータを定量化し、受信したデータを各レイヤの完全な精度の値に戻すための軽量な低ビットモジュールを提供する。
論文 参考訳（メタデータ） (2023-03-02T14:02:39Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks
with Boundary Node Sampling [25.32242812045678]
本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。
BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
論文 参考訳（メタデータ） (2022-03-21T13:44:37Z) - L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph
Convolutional Networks [118.37805042816784]
グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。
本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。
実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
論文 参考訳（メタデータ） (2020-03-30T16:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。