論文の概要: Federated Semi-Supervised Learning with Annotation Heterogeneity
- arxiv url: http://arxiv.org/abs/2303.02445v1
- Date: Sat, 4 Mar 2023 16:04:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 19:38:59.440300
- Title: Federated Semi-Supervised Learning with Annotation Heterogeneity
- Title（参考訳）: アノテーションによる半教師付き学習
- Authors: Xinyi Shang, Gang Huang, Yang Lu, Jian Lou, Bo Han, Yiu-ming Cheung,
Hanzi Wang
- Abstract要約: Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。
ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。
デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
- 参考スコア（独自算出の注目度）: 57.12560313403097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Semi-Supervised Learning (FSSL) aims to learn a global model from
different clients in an environment with both labeled and unlabeled data. Most
of the existing FSSL work generally assumes that both types of data are
available on each client. In this paper, we study a more general problem setup
of FSSL with annotation heterogeneity, where each client can hold an arbitrary
percentage (0%-100%) of labeled data. To this end, we propose a novel FSSL
framework called Heterogeneously Annotated Semi-Supervised LEarning (HASSLE).
Specifically, it is a dual-model framework with two models trained separately
on labeled and unlabeled data such that it can be simply applied to a client
with an arbitrary labeling percentage. Furthermore, a mutual learning strategy
called Supervised-Unsupervised Mutual Alignment (SUMA) is proposed for the dual
models within HASSLE with global residual alignment and model proximity
alignment. Subsequently, the dual models can implicitly learn from both types
of data across different clients, although each dual model is only trained
locally on a single type of data. Experiments verify that the dual models in
HASSLE learned by SUMA can mutually learn from each other, thereby effectively
utilizing the information of both types of data across different clients.
- Abstract（参考訳）: Federated Semi-Supervised Learning (FSSL)は、ラベル付きデータとラベルなしデータの両方を使って、異なるクライアントからグローバルモデルを学ぶことを目的としている。
既存のFSSLの作業の多くは、一般的に、両方のタイプのデータが各クライアントで利用可能であると仮定している。
本稿では,各クライアントがラベル付きデータの任意のパーセンテージ(0%-100%)を保持可能なアノテーション不均一性を持つFSSLのより一般的な問題設定について検討する。
そこで本研究では, Heterogenely Annotated Semi-Supervised LEarning (HASSLE) と呼ばれる新しいFSSLフレームワークを提案する。
具体的には、2つのモデルをラベル付きデータとラベル付きデータに分離してトレーニングしたデュアルモデルフレームワークで、任意のラベル付率でクライアントに単純に適用することができる。
さらに,大域的残差アライメントとモデル近接アライメントを有するHASSLE内の双対モデルに対して,SUMA(Supervised-Unsupervised Mutual Alignment)と呼ばれる相互学習戦略を提案する。
その後、二重モデルは異なるクライアントにわたる両方のデータから暗黙的に学習できるが、それぞれの二重モデルは単一のデータに対してのみローカルに訓練される。
実験は、sumaが学習したハッスルの双対モデルが相互に学習できることを検証し、異なるクライアント間での両方の種類のデータの情報を効果的に活用する。
関連論文リスト
- Combating Data Imbalances in Federated Semi-supervised Learning with
Dual Regulators [40.12377870379059]
フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。
デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。
FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-11T15:45:03Z) - Dual Class-Aware Contrastive Federated Semi-Supervised Learning [9.742389743497045]
本稿では,FSSL(Federated Semi-Supervised Learning)手法について紹介する。
デュアルクラス対応のコントラストモジュールを実装することで、DCCFSSLは、さまざまなクライアントが大きな逸脱に対処するための統一的なトレーニング目標を確立する。
実験の結果,DCCFSSLは3つのベンチマークデータセットにおいて最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-16T13:54:31Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳（メタデータ） (2022-04-07T09:12:00Z) - SemiFed: Semi-supervised Federated Learning with Consistency and
Pseudo-Labeling [14.737638416823772]
フェデレートラーニングは、携帯電話や組織などの複数のクライアントが共同で、予測のための共有モデルを学ぶことを可能にする。
本研究では、各クライアントのデータサンプルを部分的にラベル付けするクロスサイロ・フェデレーション学習の新しいシナリオに焦点を当てる。
そこで我々は,半教師付き学習において,一貫性の正規化と擬似ラベル付けという2つの主要なアプローチを統一する,SemiFedと呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-21T01:14:27Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。