論文の概要: Towards Federated Learning against Noisy Labels via Local Self-Regularization

• arxiv url: http://arxiv.org/abs/2208.12807v1
• Date: Thu, 25 Aug 2022 04:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:20:33.608965
• Title: Towards Federated Learning against Noisy Labels via Local Self-Regularization
• Title（参考訳）: 局所自己正規化による雑音ラベルのフェデレート学習に向けて
• Authors: Xuefeng Jiang, Sheng Sun, Yuwei Wang, and Min Liu
• Abstract要約: フェデレーテッド・ラーニング(FL)は、ラベル付きデータをプライバシを保存する方法で、大規模に分散化されたデバイスから共同知識を学ぶことを目的としている。 高品質なラベル付きデータは高価な人間の知性と努力を必要とするため、誤ったラベル(ノイズラベルと呼ばれる)を持つデータは現実にはどこにでもある。 本研究では,雑音ラベルを暗黙的に記憶することによる局所的な学習過程を効果的に調整する局所自己正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 11.077889765623588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) aims to learn joint knowledge from a large scale of decentralized devices with labeled data in a privacy-preserving manner. However, since high-quality labeled data require expensive human intelligence and efforts, data with incorrect labels (called noisy labels) are ubiquitous in reality, which inevitably cause performance degradation. Although a lot of methods are proposed to directly deal with noisy labels, these methods either require excessive computation overhead or violate the privacy protection principle of FL. To this end, we focus on this issue in FL with the purpose of alleviating performance degradation yielded by noisy labels meanwhile guaranteeing data privacy. Specifically, we propose a Local Self-Regularization method, which effectively regularizes the local training process via implicitly hindering the model from memorizing noisy labels and explicitly narrowing the model output discrepancy between original and augmented instances using self distillation. Experimental results demonstrate that our proposed method can achieve notable resistance against noisy labels in various noise levels on three benchmark datasets. In addition, we integrate our method with existing state-of-the-arts and achieve superior performance on the real-world dataset Clothing1M. The code is available at https://github.com/Sprinter1999/FedLSR.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、ラベル付きデータをプライバシを保存する方法で、大規模な分散デバイスから共同知識を学ぶことを目的としている。 しかし、高品質なラベル付きデータは高価な人間の知性と努力を必要とするため、不正なラベル付きデータ(ノイズラベルと呼ばれる)は現実にはユビキタスであり、パフォーマンスの劣化を必然的に引き起こす。 ノイズラベルを直接扱うために多くの方法が提案されているが、これらの方法は過剰な計算オーバーヘッドを必要とするか、flのプライバシ保護原則に違反する。 この目的のために,データプライバシを保証しつつ,ノイズラベルによる性能低下を緩和する目的で,flにおけるこの問題に焦点をあてる。 具体的には,ノイズラベルの記憶を暗黙的に阻害し,自己蒸留によるオリジナルインスタンスと拡張インスタンスのモデルの出力差を明示的に狭めることにより,局所学習プロセスを効果的に規則化する局所自己正規化法を提案する。 実験により, 提案手法は, 3つのベンチマークデータセット上で, 各種ノイズレベルのノイズラベルに対して顕著な耐性が得られることを示した。 さらに,本手法を既存の最先端技術と統合し,実世界のデータセットであるCloting1M上での優れた性能を実現する。 コードはhttps://github.com/sprinter1999/fedlsrで入手できる。

関連論文リスト

• Group Benefits Instances Selection for Data Purification [21.977432359384835]
  ラベルノイズと戦う既存の方法は通常、合成データセット上で設計およびテストされる。 本稿では,合成および実世界の両方のデータセットに対するノイズラベル問題を緩和するGRIPという手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T03:06:19Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• FedNoisy: Federated Noisy Label Learning Benchmark [53.73816587601204]
  フェデレーション学習は、クライアントからの機密データを集約することなく、分散学習で人気を集めている。 データ分離の分散と分離の性質は、データ品質によって複雑になり、ノイズの多いラベルに対してより脆弱になる可能性がある。 私たちは、研究者が潜在的にフェデレートされたノイズ設定を十分に調査するのに役立つ、最初の標準ベンチマークを提供しています。
  論文  参考訳（メタデータ） (2023-06-20T16:18:14Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Learning with Noisy labels via Self-supervised Adversarial Noisy Masking [33.87292143223425]
  対向雑音マスキングと呼ばれる新しいトレーニング手法を提案する。 入力データとラベルを同時に調整し、ノイズの多いサンプルが過度に収まらないようにする。 合成および実世界のノイズデータセットの両方でテストされる。
  論文  参考訳（メタデータ） (2023-02-14T03:13:26Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Noise-resistant Deep Metric Learning with Ranking-based Instance Selection [59.286567680389766]
  PRISM(Probabilistic Ranking-based Instance Selection with Memory)と呼ばれるDMLの耐騒音トレーニング技術を提案する。 PRISMは、ニューラルネットワークの以前のバージョンから抽出された画像特徴との平均的類似性を用いて、ミニバッチ内のノイズデータを識別する。 メモリバンクが生み出す高い計算コストを緩和するために,個々のデータポイントをクラスセンタに置き換える高速化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T03:22:17Z)
• Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation [87.60688582088194]
  新規な自己監督雑音ラベル学習法を提案する。 本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2021-02-23T10:51:45Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。