Fugu-MT 論文翻訳(概要): Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

論文の概要: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

arxiv url: http://arxiv.org/abs/2101.07706v1
Date: Tue, 19 Jan 2021 16:12:44 GMT
ステータス: 処理完了
システム内更新日: 2021-03-23 00:21:11.651397
Title: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks
Title（参考訳）: グラフ畳み込みネットワークの分散トレーニングのための通信効率の高いサンプリング
Authors: Peng Jiang, Masuma Akter Rumi
Abstract要約: 隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 3.075766050800645
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.
Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)のトレーニングは、近隣ノードから再帰的にデータを収集する必要があるため、コストがかかる。計算オーバヘッドを低減するため, 先行研究では, 少数の近傍のサンプルに基づいて, 集約結果を推定する様々な近傍サンプリング手法が提案されている。これらの手法は訓練の加速に成功しているが、主にシングルマシンの設定に焦点を当てている。実世界のグラフは大きいので、分散システムにおけるGCNのトレーニングが望ましい。しかし,既存の隣接サンプリング手法は分散環境ではうまく動作しないことがわかった。具体的には、単純な実装は異なるマシン間で大量の特徴ベクトルの通信を引き起こす可能性がある。この問題に対処するため,本稿では,通信効率の良い隣接サンプリング手法を提案する。私たちの主なアイデアは、リモートノードがより頻繁にアクセスされるように、ローカルノードに高いサンプリング確率を割り当てることです。本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。ノード分類ベンチマークを用いた実験により,分散gcnトレーニングにおける通信オーバーヘッドを,精度の低下を少なく抑えることができた。
全文参考訳へのリンク

関連論文リスト

PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN Training Method [28.829761038950707]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。既存のメソッドは、ノード機能を異なるクライアント間で直接交換する。本稿では,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。
論文参考訳（メタデータ） (2021-10-22T08:22:36Z)
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。本稿では,これらのボトルネックを緩和する一連の改良点について述べる。また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文参考訳（メタデータ） (2021-10-16T02:41:35Z)
Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
論文参考訳（メタデータ） (2021-10-12T19:24:42Z)
STRONG: Synchronous and asynchronous RObust Network localization, under Non-Gaussian noise [0.0]
現実世界のネットワークアプリケーションは、故障したノード、悪意のある攻撃、および外れ値として分類されたデータに対処しなければならない。本研究はセンサネットワークローカライゼーションアルゴリズムの範囲内でこれらの懸念に対処する。コントリビューションの大きな目玉は、証明可能な配布に対して、正確性も、通信コストも、速度も、何の費用も払わないという事実にあります。
論文参考訳（メタデータ） (2021-10-01T18:01:28Z)
GNNSampler: Bridging the Gap between Sampling Algorithms of GNN and Hardware [8.15489210461058]
GNNSamplerと呼ばれるメインストリームサンプリングアルゴリズムのための統一型プログラミングモデルを提案する。我々は,サンプリング中の不規則なメモリアクセスを軽減するために,実世界のデータセットでノードとその隣人のデータの局所性を探索する。提案手法は主流サンプリングアルゴリズムに普遍的であり,GNNのトレーニング時間を短縮する。
論文参考訳（メタデータ） (2021-08-26T04:13:52Z)
STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning [58.6792963686231]
フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。 WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
論文参考訳（メタデータ） (2021-06-19T06:13:45Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
Hyperdimensional Computing for Efficient Distributed Classification with Randomized Neural Networks [5.942847925681103]
本研究では,データを中央に保存することも共有することもできない状況下で利用できる分散分類について検討する。ローカルな分類器を他のエージェントと共有する場合に、ロッキーな圧縮アプローチを適用することにより、分散分類のためのより効率的な解を提案する。
論文参考訳（メタデータ） (2021-06-02T01:33:56Z)
Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文参考訳（メタデータ） (2021-05-29T08:39:57Z)
Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文参考訳（メタデータ） (2021-04-12T17:59:16Z)
A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文参考訳（メタデータ） (2021-03-01T15:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。