論文の概要: Distributed Optimization of Graph Convolutional Network using Subgraph Variance

• arxiv url: http://arxiv.org/abs/2110.02987v1
• Date: Wed, 6 Oct 2021 18:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:58:26.690467
• Title: Distributed Optimization of Graph Convolutional Network using Subgraph Variance
• Title（参考訳）: 部分グラフ分散を用いたグラフ畳み込みネットワークの分散最適化
• Authors: Taige Zhao, Xiangyu Song, Jianxin Li, Wei Luo, Imran Razzak
• Abstract要約: グラフ拡張に基づく分散GCNフレームワーク(GAD)を提案する。 GADには、GAD-PartitionとGAD-rの2つの主要コンポーネントがある。 我々のフレームワークは通信オーバーヘッドを50%削減し、最先端手法と比較して収束速度(2X)と精度(0.45%)をわずかに向上させる。
• 参考スコア（独自算出の注目度）: 8.510726499008204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Graph Convolutional Networks (GCNs) have achieved great success in learning from graph-structured data. With the growing tendency of graph nodes and edges, GCN training by single processor cannot meet the demand for time and memory, which led to a boom into distributed GCN training frameworks research. However, existing distributed GCN training frameworks require enormous communication costs between processors since multitudes of dependent nodes and edges information need to be collected and transmitted for GCN training from other processors. To address this issue, we propose a Graph Augmentation based Distributed GCN framework(GAD). In particular, GAD has two main components, GAD-Partition and GAD-Optimizer. We first propose a graph augmentation-based partition (GAD-Partition) that can divide original graph into augmented subgraphs to reduce communication by selecting and storing as few significant nodes of other processors as possible while guaranteeing the accuracy of the training. In addition, we further design a subgraph variance-based importance calculation formula and propose a novel weighted global consensus method, collectively referred to as GAD-Optimizer. This optimizer adaptively reduces the importance of subgraphs with large variances for the purpose of reducing the effect of extra variance introduced by GAD-Partition on distributed GCN training. Extensive experiments on four large-scale real-world datasets demonstrate that our framework significantly reduces the communication overhead (50%), improves the convergence speed (2X) of distributed GCN training, and slight gain in accuracy (0.45%) based on minimal redundancy compared to the state-of-the-art methods.
• Abstract（参考訳）: 近年、グラフ畳み込みネットワーク(GCN)は、グラフ構造化データから学習において大きな成功を収めている。 グラフノードやエッジの増加に伴い、単一プロセッサによるGCNトレーニングは時間とメモリの需要を満たすことができないため、分散GCNトレーニングフレームワークの研究がブームとなった。 しかし、既存の分散GCNトレーニングフレームワークは、依存ノードやエッジ情報を収集し、他のプロセッサからのGCNトレーニングのために送信する必要があるため、プロセッサ間の通信コストが膨大なものである。 本稿では,グラフ拡張に基づく分散GCNフレームワーク(GAD)を提案する。 特にGADには、GAD-PartitionとGAD-Optimizerの2つの主要コンポーネントがある。 まず,元のグラフを拡張サブグラフに分割して,トレーニングの精度を確保しつつ,他のプロセッサの重要なノードを可能な限り選択・保存することで通信を削減できるグラフ拡張ベースのパーティション(GAD-Partition)を提案する。 さらに,サブグラフ分散に基づく重要度計算式を更に設計し,gad-optimizerと呼ばれる新しい重み付きグローバルコンセンサス法を提案する。 このオプティマイザは、gad-partitionが分散gcnトレーニングに導入する余分な分散の影響を減らすために、大きなばらつきを持つサブグラフの重要性を適応的に低減する。 4つの大規模実世界のデータセットに対する大規模な実験により、我々のフレームワークは通信オーバーヘッド(50%)を著しく低減し、分散GCNトレーニングの収束速度(2X)を向上し、最先端の手法と比較して最小冗長性に基づく精度(0.45%)をわずかに向上することを示した。

関連論文リスト

• OMEGA: A Low-Latency GNN Serving System for Large Graphs [8.51634655687174]
  グラフニューラルネットワーク(GNN)は、グラフデータセットにおける表現ノード表現の計算能力に広く採用されている。 既存のトレーニングにおける近似技術はオーバーヘッドを軽減することができるが、サービスでは高いレイテンシと/または精度の損失につながる。 本稿では,低遅延GNNを最小限の精度でグラフに役立てるシステムであるOMEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-15T03:14:18Z)
• MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
  本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。 NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
  論文  参考訳（メタデータ） (2024-10-30T05:10:38Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。 本稿では,分散GNN訓練における通信複雑性について検討する。 グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
  論文  参考訳（メタデータ） (2022-12-11T04:54:01Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• An Uncoupled Training Architecture for Large Graph Learning [20.784230322205232]
  グラフデータをグリッドライクなデータに埋め込むための、柔軟なアンカップリングトレーニングフレームワークであるNode2Gridsを紹介します。 各ノードの影響を次々にランク付けすることで、Node2Gridsは最も影響力のある1階と、中央ノードの融合情報を持つ2階の隣人を選択する。 下流タスクの効率をさらに向上するために、単純なCNNベースのニューラルネットワークを使用して、マッピングされたグリッドのようなデータから重要な情報をキャプチャする。
  論文  参考訳（メタデータ） (2020-03-21T11:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。