論文の概要: FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2205.10110v1
• Date: Fri, 20 May 2022 12:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:06:32.761433
• Title: FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
• Title（参考訳）: FedNoiL: ノイズラベルによるフェデレーション学習のための簡易2レベルサンプリング手法
• Authors: Zhuowei Wang, Tianyi Zhou, Guodong Long, Bo Han, Jing Jiang
• Abstract要約: フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
• 参考スコア（独自算出の注目度）: 49.47228898303909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) aims at training a global model on the server side while the training data are collected and located at the local devices. Hence, the labels in practice are usually annotated by clients of varying expertise or criteria and thus contain different amounts of noises. Local training on noisy labels can easily result in overfitting to noisy labels, which is devastating to the global model through aggregation. Although recent robust FL methods take malicious clients into account, they have not addressed local noisy labels on each device and the impact to the global model. In this paper, we develop a simple two-level sampling method "FedNoiL" that (1) selects clients for more robust global aggregation on the server; and (2) selects clean labels and correct pseudo-labels at the client end for more robust local training. The sampling probabilities are built upon clean label detection by the global model. Moreover, we investigate different schedules changing the local epochs between aggregations over the course of FL, which notably improves the communication and computation efficiency in noisy label setting. In experiments with homogeneous/heterogeneous data distributions and noise ratios, we observed that direct combinations of SOTA FL methods with SOTA noisy-label learning methods can easily fail but our method consistently achieves better and robust performance.
• Abstract（参考訳）: federated learning(fl)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側でグローバルモデルをトレーニングすることを目的としている。 したがって、実際にはラベルは通常、様々な専門知識や基準を持つ顧客によって注釈付けされるため、異なる量のノイズを含む。 ノイズラベルのローカルトレーニングは、ノイズラベルに過度に適合する可能性があるため、アグリゲーションによってグローバルモデルに打撃を与えている。 最近の堅牢なflメソッドは悪意のあるクライアントを考慮に入れているが、各デバイス上のローカルノイズラベルとグローバルモデルへの影響については対処していない。 本稿では,(1)サーバ上でより堅牢なグローバルアグリゲーションのためにクライアントを選択し,(2)クライアント端でクリーンラベルと正しい擬似ラベルを選択し,より堅牢なローカルトレーニングを行う,簡易な2レベルサンプリング手法"fednoil"を開発した。 サンプリング確率は,グローバルモデルによるクリーンラベル検出に基づいて構築される。 さらに,flの過程での局所的エポック変化の異なるスケジュールについて検討し,ノイズラベル設定における通信効率と計算効率の向上について検討した。 均質/ヘテロゲニーデータ分布と雑音比を用いた実験では,sota fl法とsotaノイズラベル学習法との直接組み合わせは容易に失敗できるが,一貫して優れた頑健な性能が得られることがわかった。

関連論文リスト

• FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning [15.382625332503125]
  フェデレートラーニング(FL)はその性能のラベル品質に大きく依存する。 異種ラベルノイズにおけるクライアント固有のサンプルによる高い損失は、クライアント固有のサンプルとノイズのあるラベルのサンプルを区別する上での課題となる。 我々はFedFixerを提案し、そこでパーソナライズされたモデルがグローバルモデルと協調してクライアント固有のクリーンなサンプルを効果的に選択する。
  論文  参考訳（メタデータ） (2024-03-25T09:24:05Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。