論文の概要: Revisiting Early-Learning Regularization When Federated Learning Meets
Noisy Labels
- arxiv url: http://arxiv.org/abs/2402.05353v1
- Date: Thu, 8 Feb 2024 02:21:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:43:43.167584
- Title: Revisiting Early-Learning Regularization When Federated Learning Meets
Noisy Labels
- Title(参考訳): 連合学習が雑音ラベルを満たす場合の早期学習規則化の再検討
- Authors: Taehyeon Kim, Donggyu Kim, Se-Young Yun
- Abstract要約: 本稿では,早期学習の正規化を再考し,革新的戦略であるFederated Label-mixture Regularization(FLR)を導入する。
FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的および大域的モデル予測をブレンドする。
- 参考スコア(独自算出の注目度): 27.777781072683986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving landscape of federated learning (FL), addressing label noise
presents unique challenges due to the decentralized and diverse nature of data
collection across clients. Traditional centralized learning approaches to
mitigate label noise are constrained in FL by privacy concerns and the
heterogeneity of client data. This paper revisits early-learning
regularization, introducing an innovative strategy, Federated Label-mixture
Regularization (FLR). FLR adeptly adapts to FL's complexities by generating new
pseudo labels, blending local and global model predictions. This method not
only enhances the accuracy of the global model in both i.i.d. and non-i.i.d.
settings but also effectively counters the memorization of noisy labels.
Demonstrating compatibility with existing label noise and FL techniques, FLR
paves the way for improved generalization in FL environments fraught with label
inaccuracies.
- Abstract(参考訳): 連合学習(fl)の進展する状況において、ラベルノイズに対処することは、クライアント間のデータ収集の分散化と多様性によって、ユニークな課題を呈する。
ラベルノイズを緩和するための従来の集中学習アプローチは、プライバシー上の懸念とクライアントデータの不均一性によってFLで制約される。
本稿では,早期学習の正規化を再考し,新しい戦略であるFederated Label-mixture Regularization(FLR)を導入する。
FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的およびグローバルなモデル予測をブレンドする。
この方法は、i.d.と非i.d.の両方の設定におけるグローバルモデルの精度を高めるだけでなく、ノイズラベルの記憶に効果的に対処する。
既存のラベルノイズやFL技術との互換性を示すために、FLRはラベルの不正確さに悩まされたFL環境における一般化の道を開く。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している
CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
論文 参考訳(メタデータ) (2023-12-16T05:08:02Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Learning Cautiously in Federated Learning with Noisy and Heterogeneous
Clients [4.782145666637457]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。
実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。
我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。
これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
論文 参考訳(メタデータ) (2023-04-06T06:47:14Z) - Quantifying the Impact of Label Noise on Federated Learning [7.531486350989069]
Federated Learning(FL)は、クライアントがローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。
本稿では,ラベルノイズがFLに与える影響について定量的に検討する。
実験の結果,大域的モデルの精度はノイズレベルが大きくなるにつれて線形的に低下することがわかった。
論文 参考訳(メタデータ) (2022-11-15T00:40:55Z) - Towards Federated Learning against Noisy Labels via Local
Self-Regularization [11.077889765623588]
フェデレーテッド・ラーニング(FL)は、ラベル付きデータをプライバシを保存する方法で、大規模に分散化されたデバイスから共同知識を学ぶことを目的としている。
高品質なラベル付きデータは高価な人間の知性と努力を必要とするため、誤ったラベル(ノイズラベルと呼ばれる)を持つデータは現実にはどこにでもある。
本研究では,雑音ラベルを暗黙的に記憶することによる局所的な学習過程を効果的に調整する局所自己正規化手法を提案する。
論文 参考訳(メタデータ) (2022-08-25T04:03:12Z) - FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with
Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。
ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。
サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文 参考訳(メタデータ) (2022-05-20T12:06:39Z) - FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。
FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。
CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
論文 参考訳(メタデータ) (2022-04-10T12:51:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。