論文の概要: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2101.07706v1
• Date: Tue, 19 Jan 2021 16:12:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 00:21:11.651397
• Title: Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークの分散トレーニングのための通信効率の高いサンプリング
• Authors: Peng Jiang, Masuma Akter Rumi
• Abstract要約: 隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.075766050800645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)のトレーニングは、近隣ノードから再帰的にデータを収集する必要があるため、コストがかかる。 計算オーバヘッドを低減するため, 先行研究では, 少数の近傍のサンプルに基づいて, 集約結果を推定する様々な近傍サンプリング手法が提案されている。 これらの手法は訓練の加速に成功しているが、主にシングルマシンの設定に焦点を当てている。 実世界のグラフは大きいので、分散システムにおけるGCNのトレーニングが望ましい。 しかし,既存の隣接サンプリング手法は分散環境ではうまく動作しないことがわかった。 具体的には、単純な実装は異なるマシン間で大量の特徴ベクトルの通信を引き起こす可能性がある。 この問題に対処するため,本稿では,通信効率の良い隣接サンプリング手法を提案する。 私たちの主なアイデアは、リモートノードがより頻繁にアクセスされるように、ローカルノードに高いサンプリング確率を割り当てることです。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。 ノード分類ベンチマークを用いた実験により,分散gcnトレーニングにおける通信オーバーヘッドを,精度の低下を少なく抑えることができた。

関連論文リスト

• Learning conditional distributions on continuous spaces [0.0]
  多次元単位箱上の条件分布のサンプルベース学習について検討する。 我々は2つの異なるクラスタリングスキームを用いる: 1つは固定ラディウス球に基づいており、もう1つは近接する近傍にある。 我々は,ニューラルネットワークのトレーニングに近接する手法を取り入れることを提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:53:47Z)
• Faster Convergence with Less Communication: Broadcast-Based Subgraph Sampling for Decentralized Learning over Wireless Networks [33.73369874759397]
  $texttBASS$はD-SGDの収束を加速するために設計された放送ベースのサブグラフサンプリング手法である。 既存のリンクベースのスケジューリング手法と比較して,送信スロットが少ないため,$texttBASS$はより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2024-01-24T20:00:23Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks [3.2895195535353308]
  数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。 提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。 また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-26T21:31:00Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning [58.6792963686231]
  フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。 WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。 局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:13:45Z)
• Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
  GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。 実際には、意味情報はデータから学んだ潜在的な分布によって表現される。 ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T09:17:50Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• One Size Fits All: Can We Train One Denoiser for All Noise Levels? [13.46272057205994]
  1つのニューラルネットワーク推定器を訓練し、それを全てのノイズレベルに適用することが好ましい。 事実上のプロトコルは、ノイズが均一に分散されたノイズサンプルで推定器を訓練することである。 本稿では,ミニマックスリスク最適化の観点から,サンプル問題に対処する。
  論文  参考訳（メタデータ） (2020-05-19T17:56:04Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。