論文の概要: Communication-Efficient Sampling for Distributed Training of Graph
Convolutional Networks
- arxiv url: http://arxiv.org/abs/2101.07706v1
- Date: Tue, 19 Jan 2021 16:12:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-03-23 00:21:11.651397
- Title: Communication-Efficient Sampling for Distributed Training of Graph
Convolutional Networks
- Title（参考訳）: グラフ畳み込みネットワークの分散トレーニングのための通信効率の高いサンプリング
- Authors: Peng Jiang, Masuma Akter Rumi
- Abstract要約: 隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。
先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。
本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.075766050800645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training Graph Convolutional Networks (GCNs) is expensive as it needs to
aggregate data recursively from neighboring nodes. To reduce the computation
overhead, previous works have proposed various neighbor sampling methods that
estimate the aggregation result based on a small number of sampled neighbors.
Although these methods have successfully accelerated the training, they mainly
focus on the single-machine setting. As real-world graphs are large, training
GCNs in distributed systems is desirable. However, we found that the existing
neighbor sampling methods do not work well in a distributed setting.
Specifically, a naive implementation may incur a huge amount of communication
of feature vectors among different machines. To address this problem, we
propose a communication-efficient neighbor sampling method in this work. Our
main idea is to assign higher sampling probabilities to the local nodes so that
remote nodes are accessed less frequently. We present an algorithm that
determines the local sampling probabilities and makes sure our skewed neighbor
sampling does not affect much the convergence of the training. Our experiments
with node classification benchmarks show that our method significantly reduces
the communication overhead for distributed GCN training with little accuracy
loss.
- Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)のトレーニングは、近隣ノードから再帰的にデータを収集する必要があるため、コストがかかる。
計算オーバヘッドを低減するため, 先行研究では, 少数の近傍のサンプルに基づいて, 集約結果を推定する様々な近傍サンプリング手法が提案されている。
これらの手法は訓練の加速に成功しているが、主にシングルマシンの設定に焦点を当てている。
実世界のグラフは大きいので、分散システムにおけるGCNのトレーニングが望ましい。
しかし,既存の隣接サンプリング手法は分散環境ではうまく動作しないことがわかった。
具体的には、単純な実装は異なるマシン間で大量の特徴ベクトルの通信を引き起こす可能性がある。
この問題に対処するため,本稿では,通信効率の良い隣接サンプリング手法を提案する。
私たちの主なアイデアは、リモートノードがより頻繁にアクセスされるように、ローカルノードに高いサンプリング確率を割り当てることです。
本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
ノード分類ベンチマークを用いた実験により,分散gcnトレーニングにおける通信オーバーヘッドを,精度の低下を少なく抑えることができた。
関連論文リスト
- Efficient Estimation of Shortest-Path Distance Distributions to Samples in Graphs [14.492861079799516]
本稿では,最短経路距離の分布を推定するための高精度かつ効率的なフレームワークを提案する。
我々のフレームワークは経験的手法よりも高速で、次数分布の仕様しか必要としない。
論文 参考訳（メタデータ） (2025-02-21T19:21:21Z) - Learning conditional distributions on continuous spaces [0.0]
多次元単位箱上の条件分布のサンプルベース学習について検討する。
我々は2つの異なるクラスタリングスキームを用いる: 1つは固定ラディウス球に基づいており、もう1つは近接する近傍にある。
我々は,ニューラルネットワークのトレーニングに近接する手法を取り入れることを提案する。
論文 参考訳（メタデータ） (2024-06-13T17:53:47Z) - Faster Convergence with Less Communication: Broadcast-Based Subgraph
Sampling for Decentralized Learning over Wireless Networks [32.914407967052114]
$texttBASS$はD-SGDの収束を加速するために設計された放送ベースのサブグラフサンプリング手法である。
既存のリンクベースのスケジューリング手法と比較して,送信スロットが少ないため,$texttBASS$はより高速な収束を可能にする。
論文 参考訳（メタデータ） (2024-01-24T20:00:23Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks [3.2895195535353308]
数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。
提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。
また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
論文 参考訳（メタデータ） (2022-11-26T21:31:00Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳（メタデータ） (2021-10-16T02:41:35Z) - STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal
Sample and Communication Complexities for Federated Learning [58.6792963686231]
フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。
WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。
局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
論文 参考訳（メタデータ） (2021-06-19T06:13:45Z) - Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。
実際には、意味情報はデータから学んだ潜在的な分布によって表現される。
ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
論文 参考訳（メタデータ） (2020-07-28T09:17:50Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳（メタデータ） (2020-06-10T12:48:37Z) - One Size Fits All: Can We Train One Denoiser for All Noise Levels? [13.46272057205994]
1つのニューラルネットワーク推定器を訓練し、それを全てのノイズレベルに適用することが好ましい。
事実上のプロトコルは、ノイズが均一に分散されたノイズサンプルで推定器を訓練することである。
本稿では,ミニマックスリスク最適化の観点から,サンプル問題に対処する。
論文 参考訳（メタデータ） (2020-05-19T17:56:04Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。