論文の概要: Collaboratively Learning Federated Models from Noisy Decentralized Data
- arxiv url: http://arxiv.org/abs/2409.02189v1
- Date: Tue, 3 Sep 2024 18:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 21:39:27.015244
- Title: Collaboratively Learning Federated Models from Noisy Decentralized Data
- Title（参考訳）: ノイズ分散データからフェデレーションモデルを協調学習する
- Authors: Haoyuan Li, Mathias Funk, Nezihe Merve Gürel, Aaqib Saeed,
- Abstract要約: フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して機械学習モデルを協調訓練するための重要な方法として登場した。
本稿では,ラベルノイズと比較して探索されていない領域である入力空間におけるノイズデータの問題に焦点をあてる。
本稿では,FedNS (Federated Noise-Sifting) という雑音を考慮したFLアグリゲーション手法を提案する。
- 参考スコア（独自算出の注目度）: 21.3209961590772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has emerged as a prominent method for collaboratively training machine learning models using local data from edge devices, all while keeping data decentralized. However, accounting for the quality of data contributed by local clients remains a critical challenge in FL, as local data are often susceptible to corruption by various forms of noise and perturbations, which compromise the aggregation process and lead to a subpar global model. In this work, we focus on addressing the problem of noisy data in the input space, an under-explored area compared to the label noise. We propose a comprehensive assessment of client input in the gradient space, inspired by the distinct disparity observed between the density of gradient norm distributions of models trained on noisy and clean input data. Based on this observation, we introduce a straightforward yet effective approach to identify clients with low-quality data at the initial stage of FL. Furthermore, we propose a noise-aware FL aggregation method, namely Federated Noise-Sifting (FedNS), which can be used as a plug-in approach in conjunction with widely used FL strategies. Our extensive evaluation on diverse benchmark datasets under different federated settings demonstrates the efficacy of FedNS. Our method effortlessly integrates with existing FL strategies, enhancing the global model's performance by up to 13.68% in IID and 15.85% in non-IID settings when learning from noisy decentralized data.
- Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して、データを分散化しながら、機械学習モデルを協調的にトレーニングするための重要な方法として登場した。
しかし、ローカルクライアントが提供したデータの質を考慮に入れることはFLにおいて重要な課題であり、ローカルデータは様々なノイズや摂動の影響を受けやすいことが多いため、集約プロセスが損なわれ、サブパー・グローバルモデルに繋がる。
本研究は,ラベルノイズと比較して,未探索領域である入力空間におけるノイズデータの問題に焦点をあてる。
そこで本研究では,ノイズとクリーンな入力データに基づいて学習したモデルの勾配ノルム分布の密度の差に着想を得た,勾配空間におけるクライアント入力の包括的評価を提案する。
そこで本研究では,FLの初期段階において,低品質なデータを持つクライアントを識別する,単純かつ効果的な手法を提案する。
さらに,FedNS (Federated Noise-Sifting) という,広範に使用されているFL戦略とともにプラグインアプローチとして使用できるノイズ対応FLアグリゲーション手法を提案する。
異なるフェデレーション設定下での多様なベンチマークデータセットに対する広範な評価は、FedNSの有効性を示す。
本手法は既存のFL戦略と密接に統合し,ノイズの多い分散データから学習する場合,IIDの13.68%,非IID設定の15.85%までグローバルモデルの性能を向上させる。
関連論文リスト
- FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。
既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。
我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
論文 参考訳（メタデータ） (2024-06-13T19:28:08Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳（メタデータ） (2023-12-19T15:46:47Z) - Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している
CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
論文 参考訳（メタデータ） (2023-12-16T05:08:02Z) - Learning Cautiously in Federated Learning with Noisy and Heterogeneous
Clients [4.782145666637457]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。
実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。
我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。
これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
論文 参考訳（メタデータ） (2023-04-06T06:47:14Z) - Quantifying the Impact of Label Noise on Federated Learning [7.531486350989069]
Federated Learning(FL)は、クライアントがローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。
本稿では,ラベルノイズがFLに与える影響について定量的に検討する。
実験の結果,大域的モデルの精度はノイズレベルが大きくなるにつれて線形的に低下することがわかった。
論文 参考訳（メタデータ） (2022-11-15T00:40:55Z) - Labeling Chaos to Learning Harmony: Federated Learning with Noisy Labels [3.4620497416430456]
Federated Learning(FL)は分散機械学習のパラダイムで、分散化されたプライベートデータセットからモデルを学ぶことができる。
FL訓練段階間でラベルノイズに対処するフレームワークであるFedLNを提案する。
各種の視覚・音声データセットに対する評価は,従来のラベルノイズレベル60%の手法に比べて平均22%改善したことを示す。
論文 参考訳（メタデータ） (2022-08-19T14:47:40Z) - FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with
Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。
ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。
サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文 参考訳（メタデータ） (2022-05-20T12:06:39Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。