論文の概要: Quantifying the Impact of Label Noise on Federated Learning

• arxiv url: http://arxiv.org/abs/2211.07816v1
• Date: Tue, 15 Nov 2022 00:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:41:38.664975
• Title: Quantifying the Impact of Label Noise on Federated Learning
• Title（参考訳）: ラベルノイズがフェデレーション学習に及ぼす影響の定量化
• Authors: Shuqi Ke, Chao Huang, Xin Liu
• Abstract要約: Federated Learning(FL)は、クライアントがプライバシを保持しながら、ローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。 本稿では,ラベルノイズがFLに与える影響について定量的に検討する。 本研究では,大域的モデルの精度が雑音レベルが大きくなるにつれて線形的に低下することを示す。
• 参考スコア（独自算出の注目度）: 7.531486350989069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a distributed machine learning paradigm where clients collaboratively train a model using their local (human-generated) datasets while preserving privacy. While existing studies focus on FL algorithm development to tackle data heterogeneity across clients, the important issue of data quality (e.g., label noise) in FL is overlooked. This paper aims to fill this gap by providing a quantitative study on the impact of label noise on FL. Theoretically speaking, we derive an upper bound for the generalization error that is linear in the clients' label noise level. Empirically speaking, we conduct experiments on MNIST and CIFAR-10 datasets using various FL algorithms. We show that the global model accuracy linearly decreases as the noise level increases, which is consistent with our theoretical analysis. We further find that label noise slows down the convergence of FL training, and the global model tends to overfit when the noise level is high.
• Abstract（参考訳）: Federated Learning(FL)は、クライアントがプライバシーを維持しながら、ローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。 既存の研究では、クライアント間のデータ不均一性に取り組むためのFLアルゴリズムの開発に焦点が当てられているが、FLにおけるデータ品質(ラベルノイズなど)の重要な問題は見過ごされている。 本稿では,FLにおけるラベルノイズの影響を定量的に検討することにより,このギャップを埋めることを目的とする。 理論的には、クライアントのラベルノイズレベルにおいて線形な一般化誤差の上限を導出する。 経験的に、様々なFLアルゴリズムを用いて、MNISTとCIFAR-10データセットの実験を行う。 ノイズレベルが増加するにつれて,大域モデル精度は線形に減少し,理論解析と一致することを示した。 さらに,ラベルノイズがflトレーニングの収束を遅くし,ノイズレベルが高い場合にはグローバルモデルが過剰に適合する傾向がみられた。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Collaboratively Learning Federated Models from Noisy Decentralized Data [21.3209961590772]
  フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して機械学習モデルを協調訓練するための重要な方法として登場した。 本稿では,ラベルノイズと比較して探索されていない領域である入力空間におけるノイズデータの問題に焦点をあてる。 本稿では,FedNS (Federated Noise-Sifting) という雑音を考慮したFLアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-09-03T18:00:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedA3I: Annotation Quality-Aware Aggregation for Federated Medical Image Segmentation against Heterogeneous Annotation Noise [10.417576145123256]
  フェデレートラーニング(FL)は、分散医療データに基づいてセグメンテーションモデルをトレーニングするための有望なパラダイムとして登場した。 本稿では,この問題を初めて特定し,対処する。 2つの実世界の医療画像セグメンテーションデータセットの実験は、最先端のアプローチに対するFedA$3$Iの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-20T08:42:57Z)
• FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels [99.70895640578816]
  雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。 我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
  論文  参考訳（メタデータ） (2023-12-19T15:46:47Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Labeling Chaos to Learning Harmony: Federated Learning with Noisy Labels [3.4620497416430456]
  Federated Learning(FL)は分散機械学習のパラダイムで、分散化されたプライベートデータセットからモデルを学ぶことができる。 FL訓練段階間でラベルノイズに対処するフレームワークであるFedLNを提案する。 各種の視覚・音声データセットに対する評価は,従来のラベルノイズレベル60%の手法に比べて平均22%改善したことを示す。
  論文  参考訳（メタデータ） (2022-08-19T14:47:40Z)
• FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels [49.47228898303909]
  フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。 ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。 サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
  論文  参考訳（メタデータ） (2022-05-20T12:06:39Z)
• FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
  Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。 FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。 CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
  論文  参考訳（メタデータ） (2022-04-10T12:51:18Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。