論文の概要: Learning Locally, Revising Globally: Global Reviser for Federated Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2412.00452v1
• Date: Sat, 30 Nov 2024 11:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:29.445142
• Title: Learning Locally, Revising Globally: Global Reviser for Federated Learning with Noisy Labels
• Title（参考訳）: ローカルに学習し,グローバルに改訂する - ノイズラベルによるフェデレーションラーニングのためのグローバルリバイザ
• Authors: Yuxin Tian, Mouxing Yang, Yuhao Zhou, Jian Wang, Qing Ye, Tongliang Liu, Gang Niu, Jiancheng Lv,
• Abstract要約: 雑音ラベルを用いたフェデレートラーニングのためのグローバルリバイザ(Global Reviser for Federated Learning, FedGR)を提案する。 FedGRは3つの新しいモジュールを使用して、ノイズの多いラベルの嗅ぎと精錬、局所的な知識の改訂、局所的なモデル正規化を実現している。 簡単に言うと、FedGRは3つの新しいモジュールを使って、ノイズの多いラベルの嗅ぎと精錬、局所的な知識の改訂、局所的なモデル正規化を実現している。
• 参考スコア（独自算出の注目度）: 68.25846387483178
• License:
• Abstract: The success of most federated learning (FL) methods heavily depends on label quality, which is often inaccessible in real-world scenarios, such as medicine, leading to the federated label-noise (F-LN) problem. In this study, we observe that the global model of FL memorizes the noisy labels slowly. Based on the observations, we propose a novel approach dubbed Global Reviser for Federated Learning with Noisy Labels (FedGR) to enhance the label-noise robustness of FL. In brief, FedGR employs three novel modules to achieve noisy label sniffing and refining, local knowledge revising, and local model regularization. Specifically, the global model is adopted to infer local data proxies for global sample selection and refine incorrect labels. To maximize the utilization of local knowledge, we leverage the global model to revise the local exponential moving average (EMA) model of each client and distill it into the clients' models. Additionally, we introduce a global-to-local representation regularization to mitigate the overfitting of noisy labels. Extensive experiments on three F-LNL benchmarks against seven baseline methods demonstrate the effectiveness of the proposed FedGR.
• Abstract（参考訳）: ほとんどの連合学習(FL)手法の成功は、しばしば医学のような現実のシナリオではアクセスできないラベル品質に大きく依存しており、連合ラベルノイズ(F-LN)問題に繋がる。 本研究では、FLのグローバルモデルがノイズラベルをゆっくりと記憶するのを観察する。 本研究は,FLのラベル・ノイズロバスト性を高めるために,FedGR (Fisy Labels) を用いたフェデレートラーニングのためのグローバルリバイザ(Global Reviser for Federated Learning) と呼ばれる新しい手法を提案する。 簡単に言うと、FedGRは3つの新しいモジュールを使って、ノイズの多いラベルの嗅ぎと精錬、局所的な知識の改訂、局所的なモデル正規化を実現している。 具体的には、グローバルモデルを用いて、グローバルサンプル選択のためのローカルデータプロキシを推論し、不正ラベルを精査する。 局所的な知識の利用を最大化するために,グローバルモデルを用いて各クライアントの局所指数移動平均(EMA)モデルを修正し,それをクライアントのモデルに蒸留する。 さらに、雑音ラベルの過度な適合を緩和するために、グローバル・ローカルな表現正規化を導入する。 7つのベースライン法に対するF-LNLベンチマークの大規模な実験は、提案したFedGRの有効性を実証している。

関連論文リスト

• Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels [27.777781072683986]
  本稿では,早期学習の正規化を再考し,革新的戦略であるFederated Label-mixture Regularization(FLR)を導入する。 FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的および大域的モデル予測をブレンドする。
  論文  参考訳（メタデータ） (2024-02-08T02:21:33Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning [8.474470736998136]
  フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。 偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。 本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-06T11:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。