論文の概要: Dual Class-Aware Contrastive Federated Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2211.08914v1
- Date: Wed, 16 Nov 2022 13:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 16:08:58.901350
- Title: Dual Class-Aware Contrastive Federated Semi-Supervised Learning
- Title（参考訳）: 対訳 対訳 コントラスト フェデレーション セミスーパービジョン ラーニング
- Authors: Qi Guo, Yong Qi, Saiyu Qi, Di Wu
- Abstract要約: 両クラス対応コントラスト付き半教師付き学習(DCCFSSL)という新しいフェデレーション付き半教師付き学習手法を提案する。
デュアルクラス対応のコントラストモジュールを導入することで、DCCFSSLは、さまざまなクライアントのための共通のトレーニング目標を構築し、大きな逸脱を低減する。
実験によると、DCCFSSLは3つのベンチマークデータセットで最先端のメソッドを上回るだけでなく、ラベルなしのクライアントでFedAvgを上回っている。
- 参考スコア（独自算出の注目度）: 9.742389743497045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated semi-supervised learning (FSSL), facilitates labeled clients and
unlabeled clients jointly training a global model without sharing private data.
Existing FSSL methods mostly focus on pseudo-labeling and consistency
regularization to leverage the knowledge of unlabeled data, which have achieved
substantial success on raw data utilization. However, their training procedures
suffer from the large deviation from local models of labeled clients and
unlabeled clients and the confirmation bias induced by noisy pseudo labels,
which seriously damage the performance of the global model. In this paper, we
propose a novel FSSL method, named Dual Class-aware Contrastive Federated
Semi-Supervised Learning (DCCFSSL), which considers the local class-aware
distribution of individual client's data and the global class-aware
distribution of all clients' data simultaneously in the feature space. By
introducing a dual class-aware contrastive module, DCCFSSL builds a common
training goal for different clients to reduce the large deviation and
introduces contrastive information in the feature space to alleviate the
confirmation bias. Meanwhile, DCCFSSL presents an authentication-reweighted
aggregation method to enhance the robustness of the server's aggregation.
Extensive experiments demonstrate that DCCFSSL not only outperforms
state-of-the-art methods on three benchmarked datasets, but also surpasses the
FedAvg with relabeled unlabeled clients on CIFAR-10 and CIFAR-100 datasets. To
our best knowledge, we are the first to present the FSSL method that utilizes
only 10\% labeled clients of all clients to achieve better performance than the
standard federated supervised learning that uses all clients with labeled data.
- Abstract（参考訳）: フェデレートされた半教師付き学習(FSSL)は、ラベル付きクライアントとラベルなしクライアントが、プライベートデータを共有せずにグローバルモデルを共同でトレーニングすることを促進する。
既存のFSSLメソッドは主に、未ラベルデータの知識を活用するために、擬似ラベル付けと一貫性の規則化に重点を置いている。
しかし、これらのトレーニング手順は、ラベル付きクライアントとラベル付きクライアントのローカルモデルと、ノイズの多い擬似ラベルによって引き起こされる確認バイアスから大きく逸脱し、グローバルモデルのパフォーマンスを著しく損なう。
本稿では,各クライアントのデータの局所的なクラス認識分布と,全クライアントのデータのグローバルなクラス認識分布を特徴空間内で同時に検討する,Dual Class-aware Contrastive Federated Semi-Supervised Learning (DCCFSSL) という新しいFSSL手法を提案する。
デュアルクラス対応のコントラストモジュールを導入することで、DCCFSSLは、さまざまなクライアントのための共通のトレーニング目標を構築し、大きな偏差を低減し、特徴空間にコントラスト情報を導入して、確認バイアスを軽減する。
一方、dccfsslは、サーバのアグリゲーションの堅牢性を高めるために、認証強調アグリゲーション方式を提供する。
大規模な実験では、DCCFSSLは3つのベンチマークデータセットで最先端のメソッドを上回るだけでなく、CIFAR-10とCIFAR-100データセットでラベル付けされていないクライアントでFedAvgを上回っている。
我々の知る限りでは、すべてのクライアントのラベル付きクライアントの10%しか利用していないFSSLメソッドを初めて提示し、ラベル付きデータを持つすべてのクライアントを使用する標準のフェデレーション付き教師付き学習よりも優れたパフォーマンスを実現する。
関連論文リスト
- (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文 参考訳（メタデータ） (2024-10-30T17:15:02Z) - Combating Data Imbalances in Federated Semi-supervised Learning with
Dual Regulators [40.12377870379059]
フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。
デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。
FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-11T15:45:03Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳（メタデータ） (2023-05-01T11:12:37Z) - Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。
ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。
デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
論文 参考訳（メタデータ） (2023-03-04T16:04:49Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Federated Semi-Supervised Learning with Prototypical Networks [18.82809442813657]
プロトタイプネットワークに基づく新しいFSSLアプローチであるProtoFSSLを提案する。
ProtoFSSLでは、クライアントは軽量プロトタイプを通じて知識を共有する。
ウェイトシェアリングに基づくFSSLアプローチと比較して、プロトタイプベースのクライアント間知識共有は通信コストと計算コストの両方を著しく削減する。
論文 参考訳（メタデータ） (2022-05-27T11:55:29Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。