論文の概要: FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning

• arxiv url: http://arxiv.org/abs/2403.16561v1
• Date: Mon, 25 Mar 2024 09:24:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:18:23.210709
• Title: FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning
• Title（参考訳）: FedFixer: フェデレーション学習における異種ラベルノイズの軽減
• Authors: Xinyuan Ji, Zhaowei Zhu, Wei Xi, Olga Gadyatskaya, Zilong Song, Yong Cai, Yang Liu,
• Abstract要約: フェデレートラーニング(FL)はその性能のラベル品質に大きく依存する。 異種ラベルノイズにおけるクライアント固有のサンプルによる高い損失は、クライアント固有のサンプルとノイズのあるラベルのサンプルを区別する上での課題となる。 我々はFedFixerを提案し、そこでパーソナライズされたモデルがグローバルモデルと協調してクライアント固有のクリーンなサンプルを効果的に選択する。
• 参考スコア（独自算出の注目度）: 15.382625332503125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) heavily depends on label quality for its performance. However, the label distribution among individual clients is always both noisy and heterogeneous. The high loss incurred by client-specific samples in heterogeneous label noise poses challenges for distinguishing between client-specific and noisy label samples, impacting the effectiveness of existing label noise learning approaches. To tackle this issue, we propose FedFixer, where the personalized model is introduced to cooperate with the global model to effectively select clean client-specific samples. In the dual models, updating the personalized model solely at a local level can lead to overfitting on noisy data due to limited samples, consequently affecting both the local and global models' performance. To mitigate overfitting, we address this concern from two perspectives. Firstly, we employ a confidence regularizer to alleviate the impact of unconfident predictions caused by label noise. Secondly, a distance regularizer is implemented to constrain the disparity between the personalized and global models. We validate the effectiveness of FedFixer through extensive experiments on benchmark datasets. The results demonstrate that FedFixer can perform well in filtering noisy label samples on different clients, especially in highly heterogeneous label noise scenarios.
• Abstract（参考訳）: フェデレートラーニング(FL)はその性能のラベル品質に大きく依存する。 しかし、個々のクライアント間のラベル分布は常にノイズと不均一の両方である。 異種ラベルノイズにおけるクライアント固有のサンプルによる高損失は、クライアント固有のラベルサンプルとノイズの多いラベルサンプルを区別する上での課題となり、既存のラベル学習手法の有効性に影響を及ぼす。 この問題に対処するため、我々はFedFixerを提案し、グローバルモデルと協調してクライアント固有のクリーンなサンプルを効果的に選択するパーソナライズされたモデルを紹介した。 デュアルモデルでは、パーソナライズされたモデルをローカルレベルでのみ更新すると、限られたサンプルのためにノイズの多いデータに過度に適合し、その結果、ローカルモデルとグローバルモデルの両方のパフォーマンスに影響を及ぼす。 過度な適合を緩和するために、この懸念を2つの視点から解決する。 まず,ラベルノイズによる不確実性予測の影響を軽減するために,信頼度正則化器を用いる。 第二に、パーソナライズされたモデルとグローバルモデルの相違を制限するために距離正規化器が実装される。 ベンチマークデータセットの広範な実験を通じてFedFixerの有効性を検証する。 その結果、FedFixerは異なるクライアント、特に高度に異種なラベルノイズのシナリオにおいて、ノイズの多いラベルサンプルをフィルタリングするのにうまく機能することを示した。

関連論文リスト

• Federated Learning with Extremely Noisy Clients via Negative Distillation [70.13920804879312]
  フェデレーテッド・ラーニング (FL) は, ノイズラベルに悩まされながら, ディープモデルの協調訓練において顕著な成功を収めた。 ノイズの多いクライアントで訓練されたモデルを活用するために, 負蒸留(FedNed)と呼ばれる新しい手法を提案する。 FedNedはまずノイズの多いクライアントを特定し、知識蒸留方式でノイズの多いクライアントを捨てるのではなく採用する。
  論文  参考訳（メタデータ） (2023-12-20T01:59:48Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。