Fugu-MT 論文翻訳(概要): Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

論文の概要: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

arxiv url: http://arxiv.org/abs/2101.07706v1
Date: Tue, 19 Jan 2021 16:12:44 GMT
ステータス: 処理完了
システム内更新日: 2021-03-23 00:21:11.651397
Title: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks
Title（参考訳）: グラフ畳み込みネットワークの分散トレーニングのための通信効率の高いサンプリング
Authors: Peng Jiang, Masuma Akter Rumi
Abstract要約: 隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 3.075766050800645
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.
Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)のトレーニングは、近隣ノードから再帰的にデータを収集する必要があるため、コストがかかる。計算オーバヘッドを低減するため, 先行研究では, 少数の近傍のサンプルに基づいて, 集約結果を推定する様々な近傍サンプリング手法が提案されている。これらの手法は訓練の加速に成功しているが、主にシングルマシンの設定に焦点を当てている。実世界のグラフは大きいので、分散システムにおけるGCNのトレーニングが望ましい。しかし,既存の隣接サンプリング手法は分散環境ではうまく動作しないことがわかった。具体的には、単純な実装は異なるマシン間で大量の特徴ベクトルの通信を引き起こす可能性がある。この問題に対処するため,本稿では,通信効率の良い隣接サンプリング手法を提案する。私たちの主なアイデアは、リモートノードがより頻繁にアクセスされるように、ローカルノードに高いサンプリング確率を割り当てることです。本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。ノード分類ベンチマークを用いた実験により,分散gcnトレーニングにおける通信オーバーヘッドを,精度の低下を少なく抑えることができた。
全文参考訳へのリンク