論文の概要: Communication-Efficient Distributed Deep Learning via Federated Dynamic Averaging
- arxiv url: http://arxiv.org/abs/2405.20988v3
- Date: Fri, 18 Oct 2024 08:05:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:21:54.238224
- Title: Communication-Efficient Distributed Deep Learning via Federated Dynamic Averaging
- Title（参考訳）: フェデレートされた動的平均化によるコミュニケーション効率のよい分散ディープラーニング
- Authors: Michail Theologitis, Georgios Frangias, Georgios Anestis, Vasilis Samoladas, Antonios Deligiannakis,
- Abstract要約: Federated Dynamic Averaging (FDA)は通信効率の良いDDL戦略である。
FDAは従来のアルゴリズムと最先端のアルゴリズムと比較して、通信コストを桁違いに削減している。
- 参考スコア（独自算出の注目度）: 1.4748100900619232
- License:
- Abstract: Driven by the ever-growing volume and decentralized nature of data, coupled with the need to harness this data and generate knowledge from it, has led to the extensive use of distributed deep learning (DDL) techniques for training. These techniques rely on local training that is performed at the distributed nodes based on locally collected data, followed by a periodic synchronization process that combines these models to create a global model. However, frequent synchronization of DL models, encompassing millions to many billions of parameters, creates a communication bottleneck, severely hindering scalability. Worse yet, DDL algorithms typically waste valuable bandwidth, and make themselves less practical in bandwidth-constrained federated settings, by relying on overly simplistic, periodic, and rigid synchronization schedules. These drawbacks also have a direct impact on the time required for the training process, necessitating excessive time for data communication. To address these shortcomings, we propose Federated Dynamic Averaging (FDA), a communication-efficient DDL strategy that dynamically triggers synchronization based on the value of the model variance. In essence, the costly synchronization step is triggered only if the local models, which are initialized from a common global model after each synchronization, have significantly diverged. This decision is facilitated by the communication of a small local state from each distributed node/worker. Through extensive experiments across a wide range of learning tasks we demonstrate that FDA reduces communication cost by orders of magnitude, compared to both traditional and cutting-edge communication-efficient algorithms. Additionally, we show that FDA maintains robust performance across diverse data heterogeneity settings.
- Abstract（参考訳）: データのボリュームと分散化の性質によって駆動され、このデータを活用して知識を生成する必要性が伴って、トレーニングに分散ディープラーニング(DDL)技術が広く使用されるようになった。
これらのテクニックは、ローカルに収集されたデータに基づいて分散ノードで実行されるローカルトレーニングに依存しており、その後、これらのモデルを組み合わせてグローバルモデルを作成する定期的な同期プロセスが続く。
しかし、数百万から数十億のパラメータを含むDLモデルの頻繁な同期は、通信ボトルネックを生じさせ、スケーラビリティを著しく妨げます。
さらに悪いことに、DDLアルゴリズムは一般的に帯域幅を浪費し、過度に単純化され、周期的で、厳密な同期スケジュールに依存するため、帯域幅制限されたフェデレーション設定では実用的でない。
これらの欠点は、トレーニングプロセスに必要な時間に直接影響を与え、データ通信に過剰な時間を必要とします。
これらの欠点に対処するために、モデル分散の値に基づいて動的に同期をトリガする通信効率の良いDDL戦略であるFederated Dynamic Averaging (FDA)を提案する。
本質的に、コストのかかる同期ステップは、各同期後に共通グローバルモデルから初期化されるローカルモデルが著しく分散している場合にのみトリガーされる。
この決定は、各分散ノード/ワーカーからの小さなローカル状態の通信により容易となる。
さまざまな学習タスクにわたる広範な実験を通じて、FDAは従来のコミュニケーション効率のアルゴリズムと最先端のコミュニケーション効率のアルゴリズムと比較して、通信コストを桁違いに削減することを示した。
さらに、FDAは多様なデータ不均一性設定に対して堅牢なパフォーマンスを維持していることを示す。
関連論文リスト
- FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。
本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。
FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
論文 参考訳（メタデータ） (2024-10-13T17:26:43Z) - High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。
実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-07-08T19:34:39Z) - Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。
遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
論文 参考訳（メタデータ） (2024-01-03T13:07:07Z) - EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient
Federated Learning [15.124439914522693]
Federated Learning(FL)は分散ノード間の協調モデルトレーニングを可能にする分散機械学習パラダイムである。
本稿では,進化戦略(ES)をFLと統合し,これらの課題に対処する新しいアプローチであるEvoFedを提案する。
論文 参考訳（メタデータ） (2023-11-13T17:25:06Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳（メタデータ） (2022-02-07T15:04:15Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳（メタデータ） (2021-10-08T14:55:32Z) - Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed
Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。
提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。
非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
論文 参考訳（メタデータ） (2021-02-10T19:41:11Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - FedAT: A High-Performance and Communication-Efficient Federated Learning
System with Asynchronous Tiers [22.59875034596411]
非i.d.データに基づく非同期タイアを用いた新しいフェデレーション学習手法であるFederated Learning法であるFedATを提案する。
FedATは、収束速度とテスト精度を改善したストラグラー効果を最小化する。
その結果、FedATは予測性能を最大21.09%改善し、最先端FL法と比較して通信コストを最大8.5倍削減した。
論文 参考訳（メタデータ） (2020-10-12T18:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。