論文の概要: Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection
- arxiv url: http://arxiv.org/abs/2002.09692v1
- Date: Sat, 22 Feb 2020 12:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 19:00:39.097212
- Title: Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection
- Title（参考訳）: スパーシフィケーションと適応ピア選択を用いたコミュニケーション効率の高い分散学習
- Authors: Zhenheng Tang, Shaohuai Shi, Xiaowen Chu
- Abstract要約: 本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。
各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
- 参考スコア（独自算出の注目度）: 13.963329236804586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed learning techniques such as federated learning have enabled
multiple workers to train machine learning models together to reduce the
overall training time. However, current distributed training algorithms
(centralized or decentralized) suffer from the communication bottleneck on
multiple low-bandwidth workers (also on the server under the centralized
architecture). Although decentralized algorithms generally have lower
communication complexity than the centralized counterpart, they still suffer
from the communication bottleneck for workers with low network bandwidth. To
deal with the communication problem while being able to preserve the
convergence performance, we introduce a novel decentralized training algorithm
with the following key features: 1) It does not require a parameter server to
maintain the model during training, which avoids the communication pressure on
any single peer. 2) Each worker only needs to communicate with a single peer at
each communication round with a highly compressed model, which can
significantly reduce the communication traffic on the worker. We theoretically
prove that our sparsification algorithm still preserves convergence properties.
3) Each worker dynamically selects its peer at different communication rounds
to better utilize the bandwidth resources. We conduct experiments with
convolutional neural networks on 32 workers to verify the effectiveness of our
proposed algorithm compared to seven existing methods. Experimental results
show that our algorithm significantly reduces the communication traffic and
generally select relatively high bandwidth peers.
- Abstract（参考訳）: フェデレーション学習のような分散学習技術により、複数のワーカーが機械学習モデルを一緒にトレーニングすることで、トレーニング時間全体の削減が可能になる。
しかしながら、現在の分散トレーニングアルゴリズム(中央集権化または分散化)は、複数の低帯域ワーカ(集中型アーキテクチャ下のサーバ上でも)の通信ボトルネックに悩まされている。
分散アルゴリズムは一般に中央集権的なアルゴリズムよりも通信の複雑さが低いが、ネットワーク帯域の少ない労働者の通信ボトルネックに苦しんでいる。
本稿では,収束性能を維持しつつ通信問題に対処するために,次のような特徴を持つ分散学習アルゴリズムを提案する。
1) トレーニング中にモデルを維持するためにパラメータサーバを必要としないため、単一のピアに対する通信プレッシャーを回避できる。
2) 各作業者は,作業者の通信トラフィックを著しく低減できる高度に圧縮されたモデルを用いて,各通信ラウンドの1つのピアと通信するのみである。
理論的には、我々のスパーシフィケーションアルゴリズムは収束特性を保っている。
3) 各作業者は異なる通信ラウンドのピアを動的に選択し,帯域幅の資源をより活用する。
提案手法の有効性を検証するため,32名の労働者を対象に畳み込みニューラルネットワークを用いた実験を行った。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
関連論文リスト
- Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。
近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。
本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文 参考訳（メタデータ） (2024-05-06T08:00:43Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳（メタデータ） (2022-10-24T14:13:54Z) - Optimising Communication Overhead in Federated Learning Using NSGA-II [6.635754265968436]
本研究の目的は、(I)多目的問題としてモデル化し、(II)多目的最適化アルゴリズム(NSGA-II)を適用して、連合学習における通信オーバーヘッドを最適化することである。
実験の結果,提案手法は,100%通信を使用するFedAvgアルゴリズムと同等の精度で通信を99%削減できることがわかった。
論文 参考訳（メタデータ） (2022-04-01T18:06:20Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳（メタデータ） (2021-10-08T14:55:32Z) - Secure Distributed Training at Scale [65.7538150168154]
ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。
本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
論文 参考訳（メタデータ） (2021-06-21T17:00:42Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。