Fugu-MT 論文翻訳(概要): Learning from straggler clients in federated learning

論文の概要: Learning from straggler clients in federated learning

arxiv url: http://arxiv.org/abs/2403.09086v1
Date: Thu, 14 Mar 2024 04:06:45 GMT
ステータス: 処理完了
システム内更新日: 2024-03-15 21:47:12.325676
Title: Learning from straggler clients in federated learning
Title（参考訳）: 統合学習におけるストラグラークライアントからの学習
Authors: Andrew Hard, Antonious M. Girgis, Ehsan Amid, Sean Augenstein, Lara McConnaughey, Rajiv Mathews, Rohan Anil,
Abstract要約: 実世界のアプリケーションでガイドされるクライアント遅延のモンテカルロシミュレーションを開発した。我々はFedAvgやFedAdamのような同期最適化アルゴリズムと非同期FedBuffアルゴリズムについて検討する。 EMNIST、CIFAR-100、StackOverflowベンチマークのフェデレーション学習タスクによる実験は、新しいアルゴリズムがストラグラークライアントの精度で既存のアルゴリズムより優れていることを示している。
参考スコア（独自算出の注目度）: 17.536454365543232
License: http://creativecommons.org/licenses/by/4.0/
Abstract: How well do existing federated learning algorithms learn from client devices that return model updates with a significant time delay? Is it even possible to learn effectively from clients that report back minutes, hours, or days after being scheduled? We answer these questions by developing Monte Carlo simulations of client latency that are guided by real-world applications. We study synchronous optimization algorithms like FedAvg and FedAdam as well as the asynchronous FedBuff algorithm, and observe that all these existing approaches struggle to learn from severely delayed clients. To improve upon this situation, we experiment with modifications, including distillation regularization and exponential moving averages of model weights. Finally, we introduce two new algorithms, FARe-DUST and FeAST-on-MSG, based on distillation and averaging, respectively. Experiments with the EMNIST, CIFAR-100, and StackOverflow benchmark federated learning tasks demonstrate that our new algorithms outperform existing ones in terms of accuracy for straggler clients, while also providing better trade-offs between training time and total accuracy.
Abstract（参考訳）: 既存のフェデレーション学習アルゴリズムは,モデル更新を大幅な遅延で返却するクライアントデバイスから,どの程度の速度で学習できるのだろうか? 計画された数分、数時間、あるいは数日後に報告するクライアントから、効果的に学ぶことが可能か? 実世界のアプリケーションでガイドされるクライアント遅延のモンテカルロシミュレーションを開発することで、これらの質問に答える。我々は、FedAvgやFedAdamのような同期最適化アルゴリズムと非同期FedBuffアルゴリズムを研究し、これらの既存のアプローチが、非常に遅延したクライアントから学ぶのに苦労していることを観察する。この状況を改善するため, 蒸留正則化やモデル重量の指数移動平均などの改良を行った。最後に, 蒸留および平均化に基づく2つの新しいアルゴリズム, FARe-DUSTとFeAST-on-MSGを紹介する。 EMNIST、CIFAR-100、StackOverflowベンチマークのフェデレーション学習タスクによる実験では、新しいアルゴリズムはストラグラークライアントの精度において既存のアルゴリズムよりも優れており、トレーニング時間とトータル精度のトレードオフも良好である。

関連論文リスト

FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文参考訳（メタデータ） (2024-05-20T06:12:33Z)
Stochastic Approximation Approach to Federated Machine Learning [0.0]
本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。 FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
論文参考訳（メタデータ） (2024-02-20T12:00:25Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
我々は,FedND:Federated Learning with noise distillationを提案する。クライアントでは,局所モデルを学習するための自己蒸留法を提案する。サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
論文参考訳（メタデータ） (2023-06-26T06:14:01Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。 Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。 AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文参考訳（メタデータ） (2022-10-12T12:59:18Z)
Clustered Scheduling and Communication Pipelining For Efficient Resource Management Of Wireless Federated Learning [6.753282396352072]
本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
論文参考訳（メタデータ） (2022-06-15T16:23:19Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。