論文の概要: Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity
- arxiv url: http://arxiv.org/abs/2012.14453v1
- Date: Mon, 28 Dec 2020 19:21:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 11:08:27.219213
- Title: Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity
- Title（参考訳）: Straggler-Resilient Federated Learning: 統計的精度とシステム不均一性の相互作用を活用する
- Authors: Amirhossein Reisizadeh, Isidoros Tziotis, Hamed Hassani, Aryan
Mokhtari, Ramtin Pedarsani
- Abstract要約: フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
- 参考スコア（独自算出の注目度）: 57.275753974812666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a novel paradigm that involves learning from data
samples distributed across a large network of clients while the data remains
local. It is, however, known that federated learning is prone to multiple
system challenges including system heterogeneity where clients have different
computation and communication capabilities. Such heterogeneity in clients'
computation speeds has a negative effect on the scalability of federated
learning algorithms and causes significant slow-down in their runtime due to
the existence of stragglers. In this paper, we propose a novel
straggler-resilient federated learning method that incorporates statistical
characteristics of the clients' data to adaptively select the clients in order
to speed up the learning procedure. The key idea of our algorithm is to start
the training procedure with faster nodes and gradually involve the slower nodes
in the model training once the statistical accuracy of the data corresponding
to the current participating nodes is reached. The proposed approach reduces
the overall runtime required to achieve the statistical accuracy of data of all
nodes, as the solution for each stage is close to the solution of the
subsequent stage with more samples and can be used as a warm-start. Our
theoretical results characterize the speedup gain in comparison to standard
federated benchmarks for strongly convex objectives, and our numerical
experiments also demonstrate significant speedups in wall-clock time of our
straggler-resilient method compared to federated learning benchmarks.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、データをローカルに保持しながら、大規模なクライアントネットワークに分散したデータサンプルから学習する、新たなパラダイムである。
しかし、フェデレーション学習は、クライアントが異なる計算能力と通信能力を持つシステムの不均一性を含む、複数のシステム課題に直面することが知られている。
このようなクライアントの計算速度の不均一性は、フェデレートされた学習アルゴリズムのスケーラビリティに悪影響を及ぼし、ストラグラーの存在により実行時にかなりのスローダウンを引き起こす。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
提案アルゴリズムの主な考え方は,現在のノードに対応するデータの統計的精度に到達すると,より高速なノードでトレーニング手順を開始し,モデルトレーニングにおいて徐々に遅いノードを巻き込むことである。
提案手法は,各ステージの解が次のステージの解に近く,より多くのサンプルを持ち,ウォームスタートとして使用できるため,すべてのノードのデータの統計的精度を達成するために必要な全体のランタイムを削減する。
また,本実験では,強凸目標に対する標準フェデレートベンチマークと比較した高速化効果を特徴とし,ストラグラー・レジリエント法におけるフェデレート学習ベンチマークと比較して,壁時計時間における高速化効果を数値実験により示している。
関連論文リスト
- Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳（メタデータ） (2024-10-07T23:14:05Z) - Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。
異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。
また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文 参考訳（メタデータ） (2024-03-16T14:35:03Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。