論文の概要: FedCorr: Multi-Stage Federated Learning for Label Noise Correction
- arxiv url: http://arxiv.org/abs/2204.04677v1
- Date: Sun, 10 Apr 2022 12:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 13:31:34.625995
- Title: FedCorr: Multi-Stage Federated Learning for Label Noise Correction
- Title（参考訳）: FedCorr:ラベルノイズ補正のための多段階フェデレーション学習
- Authors: Jingyi Xu, Zihan Chen, Tony Q.S. Quek, Kai Fong Ernest Chong
- Abstract要約: Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。
FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。
CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
- 参考スコア（独自算出の注目度）: 80.9366438220228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a privacy-preserving distributed learning paradigm
that enables clients to jointly train a global model. In real-world FL
implementations, client data could have label noise, and different clients
could have vastly different label noise levels. Although there exist methods in
centralized learning for tackling label noise, such methods do not perform well
on heterogeneous label noise in FL settings, due to the typically smaller sizes
of client datasets and data privacy requirements in FL. In this paper, we
propose $\texttt{FedCorr}$, a general multi-stage framework to tackle
heterogeneous label noise in FL, without making any assumptions on the noise
models of local clients, while still maintaining client data privacy. In
particular, (1) $\texttt{FedCorr}$ dynamically identifies noisy clients by
exploiting the dimensionalities of the model prediction subspaces independently
measured on all clients, and then identifies incorrect labels on noisy clients
based on per-sample losses. To deal with data heterogeneity and to increase
training stability, we propose an adaptive local proximal regularization term
that is based on estimated local noise levels. (2) We further finetune the
global model on identified clean clients and correct the noisy labels for the
remaining noisy clients after finetuning. (3) Finally, we apply the usual
training on all clients to make full use of all local data. Experiments
conducted on CIFAR-10/100 with federated synthetic label noise, and on a
real-world noisy dataset, Clothing1M, demonstrate that $\texttt{FedCorr}$ is
robust to label noise and substantially outperforms the state-of-the-art
methods at multiple noise levels.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。
実世界のfl実装では、クライアントデータはラベルノイズを持ち、異なるクライアントはラベルノイズレベルが大きく異なる可能性がある。
ラベルノイズに対処するための集中学習手法は存在するが、FLにおけるクライアントデータセットのサイズやデータプライバシ要件が典型的に小さいため、FL設定における異種ラベルノイズにはうまく対応していない。
本稿では,クライアントデータのプライバシを維持しつつ,ローカルクライアントのノイズモデルを前提にすることなく,flにおける異種ラベルノイズに対処する汎用マルチステージフレームワークである$\texttt{fedcorr}$を提案する。
特に、(1)$\texttt{fedcorr}$は、すべてのクライアントで独立に測定されたモデル予測部分空間の次元を利用して、ノイズの多いクライアントを動的に識別し、サンプル当たりの損失に基づいてノイズの多いクライアント上の不正確なラベルを特定する。
データの不均一性に対処し、トレーニング安定性を高めるために、推定局所雑音レベルに基づく適応的局所近位正規化項を提案する。
2) 特定されたクリーンクライアントのグローバルモデルをさらに微調整し, 微調整後の残雑音クライアントのノイズラベルを補正する。
3) 最後に,すべてのクライアントに通常のトレーニングを適用し,すべてのローカルデータをフル活用する。
CIFAR-10/100において合成ラベルノイズと実世界のノイズデータセットであるCloting1Mを用いて行われた実験は、$\texttt{FedCorr}$がラベルノイズに対して堅牢であり、複数のノイズレベルにおいて最先端の手法を大幅に上回ることを示した。
関連論文リスト
- FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning [15.382625332503125]
フェデレートラーニング(FL)はその性能のラベル品質に大きく依存する。
異種ラベルノイズにおけるクライアント固有のサンプルによる高い損失は、クライアント固有のサンプルとノイズのあるラベルのサンプルを区別する上での課題となる。
我々はFedFixerを提案し、そこでパーソナライズされたモデルがグローバルモデルと協調してクライアント固有のクリーンなサンプルを効果的に選択する。
論文 参考訳（メタデータ） (2024-03-25T09:24:05Z) - Federated Learning with Extremely Noisy Clients via Negative
Distillation [70.13920804879312]
フェデレーテッド・ラーニング (FL) は, ノイズラベルに悩まされながら, ディープモデルの協調訓練において顕著な成功を収めた。
ノイズの多いクライアントで訓練されたモデルを活用するために, 負蒸留(FedNed)と呼ばれる新しい手法を提案する。
FedNedはまずノイズの多いクライアントを特定し、知識蒸留方式でノイズの多いクライアントを捨てるのではなく採用する。
論文 参考訳（メタデータ） (2023-12-20T01:59:48Z) - FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳（メタデータ） (2023-12-19T15:46:47Z) - Learning Cautiously in Federated Learning with Noisy and Heterogeneous
Clients [4.782145666637457]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。
実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。
我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。
これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
論文 参考訳（メタデータ） (2023-04-06T06:47:14Z) - Neighborhood Collective Estimation for Noisy Label Identification and
Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。
近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。
提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文 参考訳（メタデータ） (2022-08-05T14:47:22Z) - FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with
Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。
ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。
サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文 参考訳（メタデータ） (2022-05-20T12:06:39Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。