論文の概要: Tackling Data Heterogeneity in Federated Learning via Loss Decomposition
- arxiv url: http://arxiv.org/abs/2408.12300v2
- Date: Mon, 30 Sep 2024 09:21:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 21:59:16.839473
- Title: Tackling Data Heterogeneity in Federated Learning via Loss Decomposition
- Title（参考訳）: ロス分解によるフェデレーション学習におけるデータ不均一性への対処
- Authors: Shuang Zeng, Pengxin Guo, Shuai Wang, Jianbo Wang, Yuyin Zhou, Liangqiong Qu,
- Abstract要約: 本研究は,世界的損失を局所的損失,分布シフト損失,集約損失の3つの項に分解することで,FLの学習がFLのパフォーマンスに与える影響を分析する。
本稿では,この3つの損失項を共同で削減するために,FedLDと呼ばれる大域的損失分解に基づく新しいFL法を提案する。
我々の戦略は、他のFLアルゴリズムと比較して網膜および胸部X線分類において、より良い、より堅牢な性能を達成する。
- 参考スコア（独自算出の注目度）: 19.755512688738506
- License:
- Abstract: Federated Learning (FL) is a rising approach towards collaborative and privacy-preserving machine learning where large-scale medical datasets remain localized to each client. However, the issue of data heterogeneity among clients often compels local models to diverge, leading to suboptimal global models. To mitigate the impact of data heterogeneity on FL performance, we start with analyzing how FL training influence FL performance by decomposing the global loss into three terms: local loss, distribution shift loss and aggregation loss. Remarkably, our loss decomposition reveals that existing local training-based FL methods attempt to reduce the distribution shift loss, while the global aggregation-based FL methods propose better aggregation strategies to reduce the aggregation loss. Nevertheless, a comprehensive joint effort to minimize all three terms is currently limited in the literature, leading to subpar performance when dealing with data heterogeneity challenges. To fill this gap, we propose a novel FL method based on global loss decomposition, called FedLD, to jointly reduce these three loss terms. Our FedLD involves a margin control regularization in local training to reduce the distribution shift loss, and a principal gradient-based server aggregation strategy to reduce the aggregation loss. Notably, under different levels of data heterogeneity, our strategies achieve better and more robust performance on retinal and chest X-ray classification compared to other FL algorithms. Our code is available at https://github.com/Zeng-Shuang/FedLD.
- Abstract（参考訳）: Federated Learning(FL)は、大規模な医療データセットを各クライアントにローカライズする、コラボレーションとプライバシ保護のマシンラーニングへの、新たなアプローチである。
しかし、クライアント間のデータ不均一性の問題はしばしばローカルモデルを補完し、最適なグローバルモデルに繋がる。
データの不均一性がFL性能に与える影響を軽減するために、FLトレーニングがFL性能にどのように影響するかを、局所的損失、分布シフト損失、凝集損失の3つの項に分解して分析することから始める。
ここでは,既存の局所学習に基づくFL法が分布シフト損失の低減を図っているのに対し,グローバルアグリゲーションベースのFL法はアグリゲーション損失の低減に優れたアグリゲーション戦略を提案する。
それでも3つの用語を最小化するための包括的な共同作業は、現在、文献において制限されており、データの異種性の問題に対処する際のパフォーマンスが劣っている。
このギャップを埋めるために,FedLDと呼ばれる大域的損失分解に基づく新しいFL法を提案し,これら3つの損失項を共同で削減する。
我々のFedLDは、分散シフト損失を減らすために、局所訓練におけるマージン制御の正規化と、集約損失を減らすための主勾配に基づくサーバ集約戦略を含む。
特に、異なるレベルのデータ均一性の下で、我々の戦略は、他のFLアルゴリズムと比較して網膜および胸部X線分類において、より良い、より堅牢な性能を達成する。
私たちのコードはhttps://github.com/Zeng-Shuang/FedLD.comで公開されています。
関連論文リスト
- FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。
既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。
我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
論文 参考訳（メタデータ） (2024-06-13T19:28:08Z) - Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。
クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
論文 参考訳（メタデータ） (2024-05-29T08:46:21Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Learner Referral for Cost-Effective Federated Learning Over Hierarchical
IoT Networks [21.76836812021954]
本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。
提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
論文 参考訳（メタデータ） (2023-07-19T13:33:43Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。
実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
論文 参考訳（メタデータ） (2022-06-06T13:54:41Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。