論文の概要: Federated Learning with Instance-Dependent Noisy Label

• arxiv url: http://arxiv.org/abs/2312.10324v3
• Date: Wed, 10 Jan 2024 03:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:42:17.138919
• Title: Federated Learning with Instance-Dependent Noisy Label
• Title（参考訳）: インスタンス依存雑音ラベルを用いた連合学習
• Authors: Lei Wang, Jieming Bian, Jie Xu
• Abstract要約: FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
• 参考スコア（独自算出の注目度）: 6.093214616626228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) with noisy labels poses a significant challenge. Existing methods designed for handling noisy labels in centralized learning tend to lose their effectiveness in the FL setting, mainly due to the small dataset size and the heterogeneity of client data. While some attempts have been made to tackle FL with noisy labels, they primarily focused on scenarios involving class-conditional noise. In this paper, we study the more challenging and practical issue of instance-dependent noise (IDN) in FL. We introduce a novel algorithm called FedBeat (Federated Learning with Bayesian Ensemble-Assisted Transition Matrix Estimation). FedBeat aims to build a global statistically consistent classifier using the IDN transition matrix (IDNTM), which encompasses three synergistic steps: (1) A federated data extraction step that constructs a weak global model and extracts high-confidence data using a Bayesian model ensemble method. (2) A federated transition matrix estimation step in which clients collaboratively train an IDNTM estimation network based on the extracted data. (3) A federated classifier correction step that enhances the global model's performance by training it using a loss function tailored for noisy labels, leveraging the IDNTM. Experiments conducted on CIFAR-10 and SVHN verify that the proposed method significantly outperforms state-of-the-art methods.
• Abstract（参考訳）: ノイズの多いラベルを持つフェデレートラーニング(FL)は大きな課題となる。 集中学習でノイズの多いラベルを扱うために設計された既存の手法は、主に小さなデータセットサイズとクライアントデータの多様性のため、fl設定においてその効果を失う傾向がある。 FLをノイズラベルで扱う試みはいくつかあるが、主にクラス条件ノイズを含むシナリオに焦点を当てている。 本稿では,flにおけるインスタンス依存雑音(idn)のより困難かつ実用的な課題について検討する。 我々はFedBeat (Federated Learning with Bayesian Ensemble-Assisted transition Matrix Estimation)と呼ばれる新しいアルゴリズムを導入する。 FedBeatは,(1)弱いグローバルモデルを構築し,ベイズモデルアンサンブル法を用いて高信頼データを抽出するフェデレーションデータ抽出ステップを含む,IDN遷移行列(IDNTM)を用いて,グローバルな統計的に一貫した分類器を構築することを目的としている。 2) クライアントが抽出したデータに基づいてIDNTM推定ネットワークを協調的に訓練するフェデレーション遷移行列推定ステップ。 (3)IDNTMを利用して,雑音ラベルに適した損失関数を用いて,グローバルモデルの性能を向上させるフェデレーション分類器補正ステップ。 CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回ることを確認した。

関連論文リスト

• Collaboratively Learning Federated Models from Noisy Decentralized Data [21.3209961590772]
  フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して機械学習モデルを協調訓練するための重要な方法として登場した。 本稿では,ラベルノイズと比較して探索されていない領域である入力空間におけるノイズデータの問題に焦点をあてる。 本稿では,FedNS (Federated Noise-Sifting) という雑音を考慮したFLアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-09-03T18:00:51Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Instance-dependent Label Distribution Estimation for Learning with Label Noise [20.479674500893303]
  雑音遷移行列(NTM)推定はラベル雑音による学習に有望な手法である。 本稿では、画像分類のためのノイズラベルから学習するためのインスタンス依存ラベル分布推定(ILDE)手法を提案する。 提案手法は, 合成ノイズであっても実雑音であっても, 競合する全ての手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:13:25Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。