Fugu-MT 論文翻訳(概要): FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting

論文の概要: FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting

arxiv url: http://arxiv.org/abs/2406.02877v1
Date: Wed, 5 Jun 2024 02:52:22 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 22:16:58.836509
Title: FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting
Title（参考訳）: FedStaleWeight: バッファリングされた非同期フェデレーションラーニングと、静的リヘアリングによる公正な集約
Authors: Jeffrey Ma, Alan Tu, Yiling Chen, Vijay Janapa Reddi,
Abstract要約: 非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによる非同期フェデレーションに代わる、有望な代替手段として登場した。 AFLモデルでは、更新を高速に生成できるエージェントに対して、遅いエージェントを残してトレーニングを行う。我々はFedStaleWeightを紹介した。これは非同期クライアント更新の集約に、平均安定化を利用して公平な再重み付けを計算するアルゴリズムである。
参考スコア（独自算出の注目度）: 9.261784956541641
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) endeavors to harness decentralized data while preserving privacy, facing challenges of performance, scalability, and collaboration. Asynchronous Federated Learning (AFL) methods have emerged as promising alternatives to their synchronous counterparts bounded by the slowest agent, yet they add additional challenges in convergence guarantees, fairness with respect to compute heterogeneity, and incorporation of staleness in aggregated updates. Specifically, AFL biases model training heavily towards agents who can produce updates faster, leaving slower agents behind, who often also have differently distributed data which is not learned by the global model. Naively upweighting introduces incentive issues, where true fast updating agents may falsely report updates at a slower speed to increase their contribution to model training. We introduce FedStaleWeight, an algorithm addressing fairness in aggregating asynchronous client updates by employing average staleness to compute fair re-weightings. FedStaleWeight reframes asynchronous federated learning aggregation as a mechanism design problem, devising a weighting strategy that incentivizes truthful compute speed reporting without favoring faster update-producing agents by upweighting agent updates based on staleness. Leveraging only observed agent update staleness, FedStaleWeight results in more equitable aggregation on a per-agent basis. We both provide theoretical convergence guarantees in the smooth, non-convex setting and empirically compare FedStaleWeight against the commonly used asynchronous FedBuff with gradient averaging, demonstrating how it achieves stronger fairness, expediting convergence to a higher global model accuracy. Finally, we provide an open-source test bench to facilitate exploration of buffered AFL aggregation strategies, fostering further research in asynchronous federated learning paradigms.
Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保持しながら分散データを活用し、パフォーマンスやスケーラビリティ、コラボレーションといった課題に直面している。非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによってバウンドされた同期の代替手段として期待されているが、コンバージェンス保証、計算の不均一性に対する公正性、集約された更新における不安定性の導入など、さらなる課題が加えられている。具体的には、AFLは、更新を高速に生成できるエージェントに対して、モデルトレーニングを重んじ、遅いエージェントを置き去りにし、グローバルモデルで学ばない異なる分散データを持つことが多い。 Naively upweightingはインセンティブの問題を導入し、真の高速更新エージェントは、モデルトレーニングへの貢献を増やすために、更新を遅い速度で報告する可能性がある。我々はFedStaleWeightを紹介した。これは非同期クライアント更新を集約する際の公平性に対処するアルゴリズムである。 FedStaleWeightは非同期フェデレートされた学習アグリゲーションをメカニズム設計の問題として再設計し、安定度に基づいたエージェント更新をアップウェイトすることで、より高速な更新生成エージェントを好まずに、真に計算速度のレポートをインセンティブ化する重み付け戦略を考案した。 FedStaleWeightは、観察されたエージェント更新の安定性のみを活用することで、エージェントごとのアグリゲーションをより公平にする。我々はどちらも、スムーズで非凸な設定における理論的収束保証を提供し、FedStaleWeightと一般的に使用される非同期FedBuffの勾配平均化を実証的に比較し、より強い公正性を実現し、よりグローバルなモデルの精度に収束を早める方法を示した。最後に、バッファリングされたAFLアグリゲーション戦略の探索を容易にするためのオープンソースのテストベンチを提供し、非同期フェデレーション学習パラダイムにおけるさらなる研究を促進する。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedFa: A Fully Asynchronous Training Paradigm for Federated Learning [14.4313600357833]
フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
論文参考訳（メタデータ） (2024-04-17T02:46:59Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。攻撃対象のローカルSGDよりも精度が1.35%向上した。
論文参考訳（メタデータ） (2023-10-10T09:17:17Z)
Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文参考訳（メタデータ） (2023-06-28T18:52:27Z)
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文参考訳（メタデータ） (2023-03-01T06:16:15Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文参考訳（メタデータ） (2022-06-21T08:46:05Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。