論文の概要: SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling

• arxiv url: http://arxiv.org/abs/2108.09412v1
• Date: Sat, 21 Aug 2021 01:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:59:54.682772
• Title: SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling
• Title（参考訳）: semifed:一貫性と擬似ラベル付き半教師付き連合学習
• Authors: Haowen Lin, Jian Lou, Li Xiong, Cyrus Shahabi
• Abstract要約: フェデレートラーニングは、携帯電話や組織などの複数のクライアントが共同で、予測のための共有モデルを学ぶことを可能にする。 本研究では、各クライアントのデータサンプルを部分的にラベル付けするクロスサイロ・フェデレーション学習の新しいシナリオに焦点を当てる。 そこで我々は,半教師付き学習において,一貫性の正規化と擬似ラベル付けという2つの主要なアプローチを統一する,SemiFedと呼ばれる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.737638416823772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning enables multiple clients, such as mobile phones and organizations, to collaboratively learn a shared model for prediction while protecting local data privacy. However, most recent research and applications of federated learning assume that all clients have fully labeled data, which is impractical in real-world settings. In this work, we focus on a new scenario for cross-silo federated learning, where data samples of each client are partially labeled. We borrow ideas from semi-supervised learning methods where a large amount of unlabeled data is utilized to improve the model's accuracy despite limited access to labeled examples. We propose a new framework dubbed SemiFed that unifies two dominant approaches for semi-supervised learning: consistency regularization and pseudo-labeling. SemiFed first applies advanced data augmentation techniques to enforce consistency regularization and then generates pseudo-labels using the model's predictions during training. SemiFed takes advantage of the federation so that for a given image, the pseudo-label holds only if multiple models from different clients produce a high-confidence prediction and agree on the same label. Extensive experiments on two image benchmarks demonstrate the effectiveness of our approach under both homogeneous and heterogeneous data distribution settings
• Abstract（参考訳）: フェデレートラーニングは、携帯電話や組織などの複数のクライアントが、ローカルデータのプライバシーを保護しながら、予測の共有モデルを共同で学習することを可能にする。 しかし、フェデレーション学習の最近の研究と応用は、すべてのクライアントが完全なラベル付きデータを持っていると仮定している。 本研究では、各クライアントのデータサンプルを部分的にラベル付けするクロスサイロ・フェデレーション学習の新しいシナリオに焦点を当てる。 我々は,ラベル付きサンプルへのアクセスに制限があるにもかかわらず,大量のラベル付きデータを用いてモデルの精度を向上させる半教師付き学習手法のアイデアを借りる。 半教師付き学習のための2つの支配的アプローチである一貫性の正規化と擬似ラベル付けを統一したsemifedと呼ばれる新しいフレームワークを提案する。 SemiFedはまず、一貫性の正則化を強制するために高度なデータ拡張技術を適用し、トレーニング中にモデルの予測を使用して擬似ラベルを生成する。 SemiFedはフェデレーションを利用して、あるイメージに対して、異なるクライアントから複数のモデルが高信頼の予測を生成し、同じラベルに同意した場合のみ、擬似ラベルを保持する。 2つの画像ベンチマークに関する広範囲実験により,不均質および異種データ分布設定における提案手法の有効性を実証した。

関連論文リスト

• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data [6.322831694506287]
  分離フェデレートラーニング(IsoFed)は、半教師付きフェデレートラーニング(SSFL)に特化して設計されたラーニングスキームである。 本稿では,教師付きモデルと半教師付きモデルの簡易な平均化を回避し,SSFLに特化して設計した新しい学習手法を提案する。 特に、我々のトレーニングアプローチは、(a)ラベル付きおよびラベルなしのクライアントモデルの独立したアグリゲーションと、(b)すべてのクライアントで独立したグローバルモデルのローカルな自己教師付き事前トレーニングという2つの部分で構成されています。
  論文  参考訳（メタデータ） (2023-10-28T20:41:41Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
  Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。 ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。 デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
  論文  参考訳（メタデータ） (2023-03-04T16:04:49Z)
• FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis [23.70951896315126]
  この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。 本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T07:12:12Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
  Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。 すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。 提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
  論文  参考訳（メタデータ） (2022-03-23T11:43:29Z)
• Federated Unsupervised Representation Learning [56.715917111878106]
  フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
  論文  参考訳（メタデータ） (2020-10-18T13:28:30Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。