論文の概要: Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels

• arxiv url: http://arxiv.org/abs/2402.05353v1
• Date: Thu, 8 Feb 2024 02:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:43:43.167584
• Title: Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels
• Title（参考訳）: 連合学習が雑音ラベルを満たす場合の早期学習規則化の再検討
• Authors: Taehyeon Kim, Donggyu Kim, Se-Young Yun
• Abstract要約: 本稿では,早期学習の正規化を再考し,革新的戦略であるFederated Label-mixture Regularization(FLR)を導入する。 FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的および大域的モデル予測をブレンドする。
• 参考スコア（独自算出の注目度）: 27.777781072683986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the evolving landscape of federated learning (FL), addressing label noise presents unique challenges due to the decentralized and diverse nature of data collection across clients. Traditional centralized learning approaches to mitigate label noise are constrained in FL by privacy concerns and the heterogeneity of client data. This paper revisits early-learning regularization, introducing an innovative strategy, Federated Label-mixture Regularization (FLR). FLR adeptly adapts to FL's complexities by generating new pseudo labels, blending local and global model predictions. This method not only enhances the accuracy of the global model in both i.i.d. and non-i.i.d. settings but also effectively counters the memorization of noisy labels. Demonstrating compatibility with existing label noise and FL techniques, FLR paves the way for improved generalization in FL environments fraught with label inaccuracies.
• Abstract（参考訳）: 連合学習(fl)の進展する状況において、ラベルノイズに対処することは、クライアント間のデータ収集の分散化と多様性によって、ユニークな課題を呈する。 ラベルノイズを緩和するための従来の集中学習アプローチは、プライバシー上の懸念とクライアントデータの不均一性によってFLで制約される。 本稿では,早期学習の正規化を再考し,新しい戦略であるFederated Label-mixture Regularization(FLR)を導入する。 FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的およびグローバルなモデル予測をブレンドする。 この方法は、i.d.と非i.d.の両方の設定におけるグローバルモデルの精度を高めるだけでなく、ノイズラベルの記憶に効果的に対処する。 既存のラベルノイズやFL技術との互換性を示すために、FLRはラベルの不正確さに悩まされたFL環境における一般化の道を開く。

関連論文リスト

• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
  フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。 データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。 私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
  論文  参考訳（メタデータ） (2023-06-20T16:18:14Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Quantifying the Impact of Label Noise on Federated Learning [7.531486350989069]
  Federated Learning(FL)は、クライアントがローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。 本稿では,ラベルノイズがFLに与える影響について定量的に検討する。 実験の結果,大域的モデルの精度はノイズレベルが大きくなるにつれて線形的に低下することがわかった。
  論文  参考訳（メタデータ） (2022-11-15T00:40:55Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。