論文の概要: Labeling Chaos to Learning Harmony: Federated Learning with Noisy Labels
- arxiv url: http://arxiv.org/abs/2208.09378v3
- Date: Fri, 26 May 2023 14:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 00:07:19.980407
- Title: Labeling Chaos to Learning Harmony: Federated Learning with Noisy Labels
- Title（参考訳）: カオスを学習ハーモニーにラベリングする - ノイズラベルを用いた連合学習
- Authors: Vasileios Tsouvalas, Aaqib Saeed, Tanir Ozcelebi, Nirvana Meratnia
- Abstract要約: Federated Learning(FL)は分散機械学習のパラダイムで、分散化されたプライベートデータセットからモデルを学ぶことができる。
FL訓練段階間でラベルノイズに対処するフレームワークであるFedLNを提案する。
各種の視覚・音声データセットに対する評価は,従来のラベルノイズレベル60%の手法に比べて平均22%改善したことを示す。
- 参考スコア（独自算出の注目度）: 3.4620497416430456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed machine learning paradigm that
enables learning models from decentralized private datasets, where the labeling
effort is entrusted to the clients. While most existing FL approaches assume
high-quality labels are readily available on users' devices; in reality, label
noise can naturally occur in FL and is closely related to clients'
characteristics. Due to scarcity of available data and significant label noise
variations among clients in FL, existing state-of-the-art centralized
approaches exhibit unsatisfactory performance, while prior FL studies rely on
excessive on-device computational schemes or additional clean data available on
server. Here, we propose FedLN, a framework to deal with label noise across
different FL training stages; namely, FL initialization, on-device model
training, and server model aggregation, able to accommodate the diverse
computational capabilities of devices in a FL system. Specifically, FedLN
computes per-client noise-level estimation in a single federated round and
improves the models' performance by either correcting or mitigating the effect
of noisy samples. Our evaluation on various publicly available vision and audio
datasets demonstrate a 22% improvement on average compared to other existing
methods for a label noise level of 60%. We further validate the efficiency of
FedLN in human-annotated real-world noisy datasets and report a 4.8% increase
on average in models' recognition performance, highlighting that~\method~can be
useful for improving FL services provided to everyday users.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、分散型機械学習パラダイムであり、分散化されたプライベートデータセットからの学習モデルを可能にする。
既存のFLアプローチの多くは、高品質なラベルがユーザのデバイスで容易に利用できると仮定しているが、実際には、ラベルノイズはFLで自然に発生し、クライアントの特徴と密接に関連している。
FLのクライアント間で利用可能なデータの不足と重要なラベルノイズの変化により、既存の最先端の集中型アプローチは不満足な性能を示す一方、以前のFL研究では過剰なデバイス上の計算スキームやサーバ上で利用可能な追加のクリーンなデータに依存していた。
本稿では,FLの初期化,オンデバイスモデルトレーニング,サーバモデルアグリゲーションなど,さまざまなFLトレーニング段階におけるラベルノイズに対処するフレームワークであるFedLNを提案する。
具体的には、FedLNは、単一フェデレーションラウンドにおけるクライアントごとのノイズレベル推定を計算し、ノイズサンプルの効果を補正または緩和することでモデルの性能を改善する。
様々な視覚および音声データセットに対する評価は,ラベルノイズレベルが60%の他の既存手法と比較して,平均で22%改善していることを示している。
我々は、人間の注釈付き実世界のノイズデータセットにおけるFedLNの効率をさらに検証し、モデルの認識性能が平均4.8%向上したことを報告した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳（メタデータ） (2023-12-19T15:46:47Z) - Learning Cautiously in Federated Learning with Noisy and Heterogeneous
Clients [4.782145666637457]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。
実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。
我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。
これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
論文 参考訳（メタデータ） (2023-04-06T06:47:14Z) - Quantifying the Impact of Label Noise on Federated Learning [7.531486350989069]
Federated Learning(FL)は、クライアントがローカル(ヒューマン生成)データセットを使用してモデルを協調的にトレーニングする分散機械学習パラダイムである。
本稿では,ラベルノイズがFLに与える影響について定量的に検討する。
実験の結果,大域的モデルの精度はノイズレベルが大きくなるにつれて線形的に低下することがわかった。
論文 参考訳（メタデータ） (2022-11-15T00:40:55Z) - FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with
Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。
ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。
サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文 参考訳（メタデータ） (2022-05-20T12:06:39Z) - FedCorr: Multi-Stage Federated Learning for Label Noise Correction [80.9366438220228]
Federated Learning(FL)は、クライアントがグローバルモデルの共同トレーニングを可能にする、プライバシ保護の分散学習パラダイムである。
FLにおける異種ラベルノイズに対処する汎用多段階フレームワークであるtextttFedCorr$を提案する。
CIFAR-10/100でフェデレートされた合成ラベルノイズと実世界のノイズデータセットであるCloting1Mで実施された実験は、textttFedCorr$がラベルノイズに対して堅牢であることを実証した。
論文 参考訳（メタデータ） (2022-04-10T12:51:18Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - FOCUS: Dealing with Label Quality Disparity in Federated Learning [25.650278226178298]
本稿では, ユビキタスシステムのためのフェデレート・オポチュニティ・コンピューティング(FOCUS)を提案する。
FOCUSは直接観察することなくクライアントローカルデータの信頼性を定量化する。
ノイズの多いラベルでクライアントを効果的に識別し、モデルパフォーマンスへの影響を低減します。
論文 参考訳（メタデータ） (2020-01-29T09:31:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。