論文の概要: Dual Class-Aware Contrastive Federated Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2211.08914v2
- Date: Sun, 7 May 2023 15:01:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 23:57:40.709309
- Title: Dual Class-Aware Contrastive Federated Semi-Supervised Learning
- Title（参考訳）: 対訳 対訳 コントラスト フェデレーション セミスーパービジョン ラーニング
- Authors: Qi Guo, Yong Qi, Saiyu Qi, Di Wu
- Abstract要約: 本稿では,FSSL(Federated Semi-Supervised Learning)手法について紹介する。
デュアルクラス対応のコントラストモジュールを実装することで、DCCFSSLは、さまざまなクライアントが大きな逸脱に対処するための統一的なトレーニング目標を確立する。
実験の結果,DCCFSSLは3つのベンチマークデータセットにおいて最先端の手法よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 9.742389743497045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated semi-supervised learning (FSSL), facilitates labeled clients and
unlabeled clients jointly training a global model without sharing private data.
Existing FSSL methods predominantly employ pseudo-labeling and consistency
regularization to exploit the knowledge of unlabeled data, achieving notable
success in raw data utilization. However, these training processes are hindered
by large deviations between uploaded local models of labeled and unlabeled
clients, as well as confirmation bias introduced by noisy pseudo-labels, both
of which negatively affect the global model's performance. In this paper, we
present a novel FSSL method called Dual Class-aware Contrastive Federated
Semi-Supervised Learning (DCCFSSL). This method accounts for both the local
class-aware distribution of each client's data and the global class-aware
distribution of all clients' data within the feature space. By implementing a
dual class-aware contrastive module, DCCFSSL establishes a unified training
objective for different clients to tackle large deviations and incorporates
contrastive information in the feature space to mitigate confirmation bias.
Moreover, DCCFSSL introduces an authentication-reweighted aggregation technique
to improve the server's aggregation robustness. Our comprehensive experiments
show that DCCFSSL outperforms current state-of-the-art methods on three
benchmark datasets and surpasses the FedAvg with relabeled unlabeled clients on
CIFAR-10, CIFAR-100, and STL-10 datasets. To our knowledge, we are the first to
present an FSSL method that utilizes only 10\% labeled clients, while still
achieving superior performance compared to standard federated supervised
learning, which uses all clients with labeled data.
- Abstract（参考訳）: フェデレートされた半教師付き学習(FSSL)は、ラベル付きクライアントとラベルなしクライアントが、プライベートデータを共有せずにグローバルモデルを共同でトレーニングすることを促進する。
既存のFSSLメソッドは、主に擬似ラベル付けと整合性正規化を使用して、ラベルなしデータの知識を活用する。
しかし、これらのトレーニングプロセスは、ラベル付きクライアントとラベルなしクライアントのアップロードされたローカルモデル間の大きなずれや、疑似ラベルによる確認バイアスによって妨げられ、どちらもグローバルモデルの性能に悪影響を及ぼす。
本稿では,Dual Class-aware Contrastive Federated Semi-Supervised Learning (DCCFSSL)と呼ばれる新しいFSSL手法を提案する。
このメソッドは、各クライアントのデータのローカルクラスアウェア分布と、機能空間内のすべてのクライアントデータのグローバルクラスアウェア分布の両方を記述します。
デュアルクラス対応コントラストモジュールを実装することで、DCCFSSLは、異なるクライアントが大きなずれに対処するための統一的なトレーニング目標を確立し、特徴空間にコントラスト情報を組み込んで、確認バイアスを軽減する。
さらに、DCCFSSLは、サーバのアグリゲーションロバスト性を改善するために、認証強化アグリゲーション技術を導入している。
CIFAR-10, CIFAR-100, STL-10データセットでは, DCCFSSLは3つのベンチマークデータセットで現在の最先端メソッドよりも優れており, ラベルなしクライアントでFedAvgを上回ります。
私たちの知る限りでは、ラベル付きクライアントのみを使用するfsslメソッドを初めて提示し、ラベル付きデータを持つすべてのクライアントを使用する標準フェデレーション教師付き学習よりも優れたパフォーマンスを実現しています。
関連論文リスト
- (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文 参考訳（メタデータ） (2024-10-30T17:15:02Z) - Combating Data Imbalances in Federated Semi-supervised Learning with
Dual Regulators [40.12377870379059]
フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。
デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。
FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-11T15:45:03Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳（メタデータ） (2023-05-01T11:12:37Z) - Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。
ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。
デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
論文 参考訳（メタデータ） (2023-03-04T16:04:49Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Federated Semi-Supervised Learning with Prototypical Networks [18.82809442813657]
プロトタイプネットワークに基づく新しいFSSLアプローチであるProtoFSSLを提案する。
ProtoFSSLでは、クライアントは軽量プロトタイプを通じて知識を共有する。
ウェイトシェアリングに基づくFSSLアプローチと比較して、プロトタイプベースのクライアント間知識共有は通信コストと計算コストの両方を著しく削減する。
論文 参考訳（メタデータ） (2022-05-27T11:55:29Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。