論文の概要: Community-based Layerwise Distributed Training of Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2112.09335v1
• Date: Fri, 17 Dec 2021 05:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 00:37:37.352396
• Title: Community-based Layerwise Distributed Training of Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのコミュニティベース層別分散トレーニング
• Authors: Hongyi Li, Junxiang Wang, Yongchao Wang, Yue Cheng, and Liang Zhao
• Abstract要約: マルチプライヤの交互方向法(ADMM)に基づく並列分散GCNトレーニングアルゴリズムを提案する。 予備的な結果は,提案したコミュニティベースADMMトレーニングアルゴリズムが3倍以上の高速化につながることを示す。
• 参考スコア（独自算出の注目度）: 18.96786634170954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Graph Convolutional Network (GCN) has been successfully applied to many graph-based applications. Training a large-scale GCN model, however, is still challenging: Due to the node dependency and layer dependency of the GCN architecture, a huge amount of computational time and memory is required in the training process. In this paper, we propose a parallel and distributed GCN training algorithm based on the Alternating Direction Method of Multipliers (ADMM) to tackle the two challenges simultaneously. We first split GCN layers into independent blocks to achieve layer parallelism. Furthermore, we reduce node dependency by dividing the graph into several dense communities such that each of them can be trained with an agent in parallel. Finally, we provide solutions for all subproblems in the community-based ADMM algorithm. Preliminary results demonstrate that our proposed community-based ADMM training algorithm can lead to more than triple speedup while achieving the best performance compared with state-of-the-art methods.
• Abstract（参考訳）: Graph Convolutional Network (GCN)は多くのグラフベースのアプリケーションにうまく適用されている。 しかし、大規模なGCNモデルをトレーニングすることはまだ難しい。GCNアーキテクチャのノード依存性とレイヤ依存性のため、トレーニングプロセスには膨大な計算時間とメモリが必要である。 本稿では,2つの課題を同時に解決するために,乗算器の交互方向法(admm)に基づく並列分散gcn学習アルゴリズムを提案する。 我々はまずGCN層を独立したブロックに分割し、層並列化を実現した。 さらに,グラフを複数の密集したコミュニティに分割することで,ノード依存性を低減し,エージェントを並列にトレーニングすることができる。 最後に,コミュニティベースのadmmアルゴリズムにおいて,すべての部分問題に対するソリューションを提供する。 予備的な結果から,提案したコミュニティベースADMMトレーニングアルゴリズムは3倍以上の高速化を実現し,最先端の手法と比較して最高の性能を達成できることが示された。

関連論文リスト

• MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators [3.598994359810843]
  フルグラフ上でのグラフ畳み込みネットワーク(GCN)のトレーニングは難しい。 機能テンソルは簡単にメモリを爆発させ、現代のアクセラレーターの通信帯域をブロックすることができる。 トレーニングのワークフロー GCNはスパース演算と密度行列演算を交互に行う。
  論文  参考訳（メタデータ） (2025-01-03T18:54:46Z)
• Brain-inspired Chaotic Graph Backpropagation for Large-scale Combinatorial Optimization [3.97492577026225]
  教師なし学習を伴うグラフニューラルネットワーク(GNN)は、効率的な時間複雑性で大規模最適化問題(COP)を解決することができる。 しかし、現在の主流のバックプロパゲーションベースのトレーニングアルゴリズムは、ローカルなミニマに陥りがちである。 カオスグラフバックプロパゲーション(CGBP)というカオス学習アルゴリズムを導入し,カオスだけではなく,高い効率でトレーニングを行う。
  論文  参考訳（メタデータ） (2024-12-13T05:00:57Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
  分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
  論文  参考訳（メタデータ） (2023-08-19T18:44:14Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• SMGRL: Scalable Multi-resolution Graph Representation Learning [1.878741798127168]
  グラフ畳み込みネットワーク(GCN)により、トポロジ的に認識されたノードの埋め込みを学習できる。 追加レイヤを追加することなく、ノード間の長距離依存関係をキャプチャすることはできない。 マルチレゾリューションノードの埋め込みを効率的に学習できるスケーラブルなマルチレゾリューショングラフ表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-29T21:48:48Z)
• Learning Hierarchical Graph Neural Networks for Image Clustering [81.5841862489509]
  本稿では,画像の集合を未知の個数にクラスタリングする方法を学ぶ階層型グラフニューラルネットワーク(GNN)モデルを提案する。 我々の階層的なGNNは、階層の各レベルで予測される連結コンポーネントをマージして、次のレベルで新しいグラフを形成するために、新しいアプローチを用いています。
  論文  参考訳（メタデータ） (2021-07-03T01:28:42Z)
• MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for Training Large Graph Convolutional Networks [20.07942308916373]
  グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。 GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。 MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-11-17T14:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。