論文の概要: Robust Federated Learning against Noisy Clients via Masked Optimization

• arxiv url: http://arxiv.org/abs/2506.02079v1
• Date: Mon, 02 Jun 2025 09:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.901052
• Title: Robust Federated Learning against Noisy Clients via Masked Optimization
• Title（参考訳）: マスク最適化によるノイズの多いクライアントに対するロバストなフェデレーション学習
• Authors: Xuefeng Jiang, Tian Wen, Zhiqin Yang, Lvhua Wu, Yufeng Chen, Sheng Sun, Yuwei Wang, Min Liu,
• Abstract要約: 本研究では,この複雑なラベルノイズ問題に対処するための2段階最適化フレームワークMaskedOptimを提案する。 第1段階は、ラベルノイズ率の高いノイズの多いクライアントの検出を容易にするように設計されている。 第2段階では、ノイズの多いクライアントのデータのラベルをエンドツーエンドのラベル修正メカニズムで修正することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 13.213042997655169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, federated learning (FL) has made significant advance in privacy-sensitive applications. However, it can be hard to ensure that FL participants provide well-annotated data for training. The corresponding annotations from different clients often contain complex label noise at varying levels. This label noise issue has a substantial impact on the performance of the trained models, and clients with greater noise levels can be largely attributed for this degradation. To this end, it is necessary to develop an effective optimization strategy to alleviate the adverse effects of these noisy clients.In this study, we present a two-stage optimization framework, MaskedOptim, to address this intricate label noise problem. The first stage is designed to facilitate the detection of noisy clients with higher label noise rates. The second stage focuses on rectifying the labels of the noisy clients' data through an end-to-end label correction mechanism, aiming to mitigate the negative impacts caused by misinformation within datasets. This is achieved by learning the potential ground-truth labels of the noisy clients' datasets via backpropagation. To further enhance the training robustness, we apply the geometric median based model aggregation instead of the commonly-used vanilla averaged model aggregation. We implement sixteen related methods and conduct evaluations on three image datasets and one text dataset with diverse label noise patterns for a comprehensive comparison. Extensive experimental results indicate that our proposed framework shows its robustness in different scenarios. Additionally, our label correction framework effectively enhances the data quality of the detected noisy clients' local datasets. % Our codes will be open-sourced to facilitate related research communities. Our codes are available via https://github.com/Sprinter1999/MaskedOptim .
• Abstract（参考訳）: 近年、FL(Federated Learning)はプライバシーに敏感なアプリケーションに大きく進歩している。 しかし、FL参加者がトレーニングのために十分に注釈付けされたデータを提供することを保証するのは難しい。 異なるクライアントからの対応するアノテーションは、しばしば様々なレベルで複雑なラベルノイズを含む。 このラベルノイズ問題は、トレーニングされたモデルの性能に大きな影響を与え、より大きなノイズレベルを持つクライアントは、この劣化に大きく影響する可能性がある。 そこで本研究では,この複雑なラベルノイズ問題に対処するための2段階最適化フレームワークMaskedOptimを提案する。 第1段階は、ラベルノイズ率の高いノイズの多いクライアントの検出を容易にするように設計されている。 第2段階では、データセット内の誤情報による負の影響を軽減することを目的として、エンドツーエンドのラベル補正メカニズムを通じて、ノイズの多いクライアントデータのラベルの修正に重点を置いている。 これは、バックプロパゲーションを通じて、ノイズの多いクライアントのデータセットの潜在的な地味なラベルを学ぶことで達成される。 トレーニングロバスト性をさらに向上するため,一般的なバニラ平均モデルアグリゲーションの代わりに,幾何学的中央値モデルアグリゲーションを適用した。 我々は16の関連手法を実装し、3つの画像データセットと1つのテキストデータセットのラベルノイズパターンを包括的に比較した。 大規模な実験結果から,提案手法は様々なシナリオにおいて堅牢性を示すことが示された。 さらに,このラベル補正フレームワークは,検出されたノイズの多いクライアントのローカルデータセットのデータ品質を効果的に向上させる。 % 関連研究コミュニティを支援するために,当社のコードをオープンソースにします。 私たちのコードはhttps://github.com/Sprinter 1999/MaskedOptim で利用可能です。

関連論文リスト

• Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
  実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。 そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。 提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-06T09:56:49Z)
• Tackling Noisy Clients in Federated Learning with End-to-end Label Correction [20.64304520865249]
  本稿では,この複雑なラベルノイズ問題に対処する2段階のFedELCを提案する。 第1段階は、ラベルノイズの高いノイズの多いクライアントの検出を誘導することを目的としている。 第2段階は、エンドツーエンドのラベル修正フレームワークを通じて、ノイズの多いクライアントのデータのラベルを修正することを目的としている。
  論文  参考訳（メタデータ） (2024-08-08T08:35:32Z)
• Federated Learning with Extremely Noisy Clients via Negative Distillation [70.13920804879312]
  フェデレーテッド・ラーニング (FL) は, ノイズラベルに悩まされながら, ディープモデルの協調訓練において顕著な成功を収めた。 ノイズの多いクライアントで訓練されたモデルを活用するために, 負蒸留(FedNed)と呼ばれる新しい手法を提案する。 FedNedはまずノイズの多いクライアントを特定し、知識蒸留方式でノイズの多いクライアントを捨てるのではなく採用する。
  論文  参考訳（メタデータ） (2023-12-20T01:59:48Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。