論文の概要: Federated Learning with Extremely Noisy Clients via Negative Distillation

• arxiv url: http://arxiv.org/abs/2312.12703v2
• Date: Fri, 23 Feb 2024 02:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 17:39:27.776659
• Title: Federated Learning with Extremely Noisy Clients via Negative Distillation
• Title（参考訳）: 負の蒸留による極端に騒がしい顧客によるフェデレーション学習
• Authors: Yang Lu, Lin Chen, Yonggang Zhang, Yiliang Zhang, Bo Han, Yiu-ming Cheung, Hanzi Wang
• Abstract要約: フェデレーテッド・ラーニング (FL) は, ノイズラベルに悩まされながら, ディープモデルの協調訓練において顕著な成功を収めた。 ノイズの多いクライアントで訓練されたモデルを活用するために, 負蒸留(FedNed)と呼ばれる新しい手法を提案する。 FedNedはまずノイズの多いクライアントを特定し、知識蒸留方式でノイズの多いクライアントを捨てるのではなく採用する。
• 参考スコア（独自算出の注目度）: 70.13920804879312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has shown remarkable success in cooperatively training deep models, while typically struggling with noisy labels. Advanced works propose to tackle label noise by a re-weighting strategy with a strong assumption, i.e., mild label noise. However, it may be violated in many real-world FL scenarios because of highly contaminated clients, resulting in extreme noise ratios, e.g., $>$90%. To tackle extremely noisy clients, we study the robustness of the re-weighting strategy, showing a pessimistic conclusion: minimizing the weight of clients trained over noisy data outperforms re-weighting strategies. To leverage models trained on noisy clients, we propose a novel approach, called negative distillation (FedNed). FedNed first identifies noisy clients and employs rather than discards the noisy clients in a knowledge distillation manner. In particular, clients identified as noisy ones are required to train models using noisy labels and pseudo-labels obtained by global models. The model trained on noisy labels serves as a `bad teacher' in knowledge distillation, aiming to decrease the risk of providing incorrect information. Meanwhile, the model trained on pseudo-labels is involved in model aggregation if not identified as a noisy client. Consequently, through pseudo-labeling, FedNed gradually increases the trustworthiness of models trained on noisy clients, while leveraging all clients for model aggregation through negative distillation. To verify the efficacy of FedNed, we conduct extensive experiments under various settings, demonstrating that FedNed can consistently outperform baselines and achieve state-of-the-art performance. Our code is available at https://github.com/linChen99/FedNed.
• Abstract（参考訳）: 連合学習 (federated learning, fl) は、一般的にノイズの多いラベルに苦しむ一方で、深層モデルの協調訓練において顕著な成功を示している。 先進的な研究は、弱いラベルノイズという強い仮定を持つ再重み付け戦略によってラベルノイズに取り組むことを提案する。 しかし、多くの現実世界のFLシナリオでは、高度に汚染されたクライアントが極端なノイズ比(例えば$>90%)をもたらすため、違反する可能性がある。 極端に騒がしいクライアントに取り組むために、我々は再重み付け戦略の堅牢性を調査し、悲観的な結論を示した: ノイズデータ上でトレーニングされたクライアントの重み付けを最小化することは再重み付け戦略を上回っている。 ノイズの多いクライアントで訓練されたモデルを活用するために,負蒸留(FedNed)と呼ばれる新しい手法を提案する。 fednedはまず、騒がしいクライアントを特定し、騒がしいクライアントを知識蒸留方式で捨てる代わりに雇用する。 特に、騒がしいと特定されたクライアントは、グローバルモデルによって得られた騒がしいラベルや擬似ラベルを使ってモデルを訓練する必要がある。 ノイズラベルで訓練されたモデルは知識蒸留における「悪い教師」として機能し、誤った情報を提供するリスクを減らすことを目的としている。 一方、擬似ラベルで訓練されたモデルは、ノイズの多いクライアントとして特定されない場合、モデル集約に関与します。 その結果、FedNedは疑似ラベル付けにより、ノイズの多いクライアントで訓練されたモデルの信頼性を徐々に向上させ、負の蒸留を通じてモデル集約にすべてのクライアントを活用する。 FedNedの有効性を検証するために,FedNedはベースラインを一貫して上回り,最先端の性能を達成することができることを示す。 私たちのコードはhttps://github.com/linchen99/fednedで利用可能です。

関連論文リスト

• FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning [15.382625332503125]
  フェデレートラーニング(FL)はその性能のラベル品質に大きく依存する。 異種ラベルノイズにおけるクライアント固有のサンプルによる高い損失は、クライアント固有のサンプルとノイズのあるラベルのサンプルを区別する上での課題となる。 我々はFedFixerを提案し、そこでパーソナライズされたモデルがグローバルモデルと協調してクライアント固有のクリーンなサンプルを効果的に選択する。
  論文  参考訳（メタデータ） (2024-03-25T09:24:05Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Label Noise-Robust Learning using a Confidence-Based Sieving Strategy [15.997774467236352]
  ラベルノイズを伴うタスクの学習では、オーバーフィッティングに対するモデルの堅牢性を改善することが重要な課題である。 サンプルをノイズのあるラベルで識別し、モデルを学習するのを防ぐことは、この課題に対処するための有望なアプローチである。 本研究では, 信頼度誤差と呼ばれる新しい判別基準と, クリーンサンプルとノイズサンプルを効果的に識別するためのCONFESと呼ばれるシービング戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:47:28Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。