論文の概要: Anti-Matthew FL: Bridging the Performance Gap in Federated Learning to Counteract the Matthew Effect
- arxiv url: http://arxiv.org/abs/2309.16338v2
- Date: Tue, 27 Aug 2024 01:17:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 20:08:36.385597
- Title: Anti-Matthew FL: Bridging the Performance Gap in Federated Learning to Counteract the Matthew Effect
- Title（参考訳）: アンチマシューFL: マシュー効果に対抗するためのフェデレーション学習におけるパフォーマンスギャップのブリッジ
- Authors: Jiashi Gao, Xin Yao, Xuetao Wei,
- Abstract要約: フェデレートラーニング(FL)は、異種および多種多様なデータセット間のモデルトレーニングを容易にする。
本研究では,クライアントレベルでのグローバルモデルに対するアンチマシューフェアネスを提案する。
提案するアンチマシューFLは,高性能なグローバルモデルを実現する上で,他の最先端のFLアルゴリズムよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 4.716839088197377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) stands as a paradigmatic approach that facilitates model training across heterogeneous and diverse datasets originating from various data providers. However, conventional FLs fall short of achieving consistent performance, potentially leading to performance degradation for clients who are disadvantaged in data resources. Influenced by the Matthew effect, deploying a performance-imbalanced global model in applications further impedes the generation of high-quality data from disadvantaged clients, exacerbating the disparities in data resources among clients. In this work, we propose anti-Matthew fairness for the global model at the client level, requiring equal accuracy and equal decision bias across clients. To balance the trade-off between achieving anti-Matthew fairness and performance optimality, we formalize the anti-Matthew effect federated learning (anti-Matthew FL) as a multi-constrained multi-objectives optimization (MCMOO) problem and propose a three-stage multi-gradient descent algorithm to obtain the Pareto optimality. We theoretically analyze the convergence and time complexity of our proposed algorithms. Additionally, through extensive experimentation, we demonstrate that our proposed anti-Matthew FL outperforms other state-of-the-art FL algorithms in achieving a high-performance global model while effectively bridging performance gaps among clients. We hope this work provides valuable insights into the manifestation of the Matthew effect in FL and other decentralized learning scenarios and can contribute to designing fairer learning mechanisms, ultimately fostering societal welfare.
- Abstract（参考訳）: フェデレートラーニング(FL)は、さまざまなデータプロバイダから派生した異種および多種多様なデータセット間のモデルトレーニングを促進するパラダイム的なアプローチである。
しかし、従来のFLは一貫したパフォーマンスを達成できないため、データリソースに不利なクライアントのパフォーマンス低下につながる可能性がある。
マシュー効果の影響により、アプリケーションにパフォーマンス不均衡なグローバルモデルを展開することで、不利なクライアントから高品質なデータを生成することがさらに阻害され、クライアント間のデータリソースの格差が悪化する。
本研究ではクライアントレベルでのグローバルモデルに対するアンチマシューフェアネスを提案し,クライアント間での等価な精度と決定バイアスを求める。
反マシューフェアネスの達成と性能最適性の両立を両立させるために,反マシュー効果フェデレート学習(反マシューFL)を多制約多目的最適化(MCMOO)問題として定式化し,パレート最適性を得るための3段階多段階降下アルゴリズムを提案する。
提案アルゴリズムの収束と時間的複雑さを理論的に解析する。
さらに,我々の提案するアンチマシューFLは,クライアント間の性能ギャップを効果的に埋めつつ,高性能なグローバルモデルを実現する上で,他の最先端FLアルゴリズムよりも優れていることを示す。
この研究は、FLやその他の分散学習シナリオにおけるマシュー効果の顕在化に関する貴重な洞察を提供し、より公平な学習メカニズムの設計に寄与し、最終的に社会福祉を育むことを願っている。
関連論文リスト
- FedMABA: Towards Fair Federated Learning through Multi-Armed Bandits Allocation [26.52731463877256]
本稿では,対戦型マルチアームバンディットの概念を導入し,性能格差を明示した制約で提案対象を最適化する。
そこで本研究では,データ分散の異なる多種多様なクライアント間での性能不公平さを軽減するために,新しいマルチアーム帯域割り当てFLアルゴリズム(FedMABA)を提案する。
論文 参考訳（メタデータ） (2024-10-26T10:41:45Z) - On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。
我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。
実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-07-23T11:35:42Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Fair and Consistent Federated Learning [48.19977689926562]
フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-19T01:56:08Z) - Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
論文 参考訳（メタデータ） (2021-01-14T21:54:55Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。