論文の概要: Towards Unbiased Training in Federated Open-world Semi-supervised
Learning
- arxiv url: http://arxiv.org/abs/2305.00771v1
- Date: Mon, 1 May 2023 11:12:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-05-02 13:34:26.059859
- Title: Towards Unbiased Training in Federated Open-world Semi-supervised
Learning
- Title（参考訳）: フェデレーション型オープンワールドセミ教師あり学習におけるアンバイアスドトレーニングに向けて
- Authors: Jie Zhang, Xiaosong Ma, Song Guo, Wenchao Xu
- Abstract要約: 本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
- 参考スコア（独自算出の注目度）: 15.08153616709326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Semi-supervised Learning (FedSSL) has emerged as a new paradigm for
allowing distributed clients to collaboratively train a machine learning model
over scarce labeled data and abundant unlabeled data. However, existing works
for FedSSL rely on a closed-world assumption that all local training data and
global testing data are from seen classes observed in the labeled dataset. It
is crucial to go one step further: adapting FL models to an open-world setting,
where unseen classes exist in the unlabeled data. In this paper, we propose a
novel Federatedopen-world Semi-Supervised Learning (FedoSSL) framework, which
can solve the key challenge in distributed and open-world settings, i.e., the
biased training process for heterogeneously distributed unseen classes.
Specifically, since the advent of a certain unseen class depends on a client
basis, the locally unseen classes (exist in multiple clients) are likely to
receive differentiated superior aggregation effects than the globally unseen
classes (exist only in one client). We adopt an uncertainty-aware suppressed
loss to alleviate the biased training between locally unseen and globally
unseen classes. Besides, we enable a calibration module supplementary to the
global aggregation to avoid potential conflicting knowledge transfer caused by
inconsistent data distribution among different clients. The proposed FedoSSL
can be easily adapted to state-of-the-art FL methods, which is also validated
via extensive experiments on benchmarks and real-world datasets (CIFAR-10,
CIFAR-100 and CINIC-10).
- Abstract（参考訳）: Federated Semi-supervised Learning (FedSSL)は、分散クライアントがラベル付きデータと豊富なラベル付きデータよりも機械学習モデルを協調的にトレーニングできるようにする新しいパラダイムとして登場した。
しかし、FedSSLの既存の研究は、すべてのローカルトレーニングデータとグローバルテストデータがラベル付きデータセットで見られるクラスから来ているというクローズドワールドの仮定に依存している。
FLモデルを、ラベルのないデータの中に見えないクラスが存在するオープンワールドの設定に適応させることは、さらに重要なことです。
本稿では,分散およびオープンワールドの設定における鍵となる課題,すなわち不均質に分散した非知覚クラスに対するバイアスドトレーニングプロセスを解決するための,fedossl(federated open-world semi-supervised learning)フレームワークを提案する。
具体的には、あるunseenクラスの出現は、クライアントベースに依存するため、(複数のクライアントに存在する)ローカルなunseenクラスは、グローバルなunseenクラス(一つのクライアントにのみ存在する)よりも、差別化された優れたアグリゲーション効果を受ける可能性が高い。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
さらに,グローバルアグリゲーションを補完するキャリブレーションモジュールを,異なるクライアント間での不整合データ分散に起因する潜在的な矛盾する知識伝達を回避する。
提案したFedoSSLは、ベンチマークや実世界のデータセット(CIFAR-10、CIFAR-100、CINIC-10)の広範な実験を通じて、最先端のFL法に容易に適用することができる。
関連論文リスト
- Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-07-17T15:40:45Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳（メタデータ） (2022-04-07T09:12:00Z) - Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文 参考訳（メタデータ） (2021-10-26T03:41:48Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-06T11:51:47Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。