論文の概要: (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2410.23227v1
- Date: Wed, 30 Oct 2024 17:15:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:26:57.697747
- Title: (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning
- Title（参考訳）: (FL)$^2$:Federated Semi-Supervised Learningにおけるいくつかのラベルの克服
- Authors: Seungjoo Lee, Thanh-Long V. Le, Jaemin Shin, Sung-Ju Lee,
- Abstract要約: Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
- 参考スコア（独自算出の注目度）: 4.803231218533992
- License:
- Abstract: Federated Learning (FL) is a distributed machine learning framework that trains accurate global models while preserving clients' privacy-sensitive data. However, most FL approaches assume that clients possess labeled data, which is often not the case in practice. Federated Semi-Supervised Learning (FSSL) addresses this label deficiency problem, targeting situations where only the server has a small amount of labeled data while clients do not. However, a significant performance gap exists between Centralized Semi-Supervised Learning (SSL) and FSSL. This gap arises from confirmation bias, which is more pronounced in FSSL due to multiple local training epochs and the separation of labeled and unlabeled data. We propose $(FL)^2$, a robust training method for unlabeled clients using sharpness-aware consistency regularization. We show that regularizing the original pseudo-labeling loss is suboptimal, and hence we carefully select unlabeled samples for regularization. We further introduce client-specific adaptive thresholding and learning status-aware aggregation to adjust the training process based on the learning progress of each client. Our experiments on three benchmark datasets demonstrate that our approach significantly improves performance and bridges the gap with SSL, particularly in scenarios with scarce labeled data.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
しかし、ほとんどのFLアプローチはクライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
Federated Semi-Supervised Learning (FSSL)はこのラベル不足の問題に対処し、クライアントがそうでない間に、サーバだけが少量のラベル付きデータを持っている状況をターゲットにしている。
しかし、集中型セミスーパーバイザードラーニング(SSL)とFSSLの間には大きなパフォーマンスギャップがある。
このギャップは、複数のローカルトレーニングエポックとラベル付きデータとラベルなしデータの分離により、FSSLでより顕著な確認バイアスから生じる。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)^2$を提案する。
擬似ラベル損失の正規化は準最適であることを示し, 正規化のための未ラベルサンプルを慎重に選択する。
さらに,各クライアントの学習進捗状況に基づいて学習プロセスを調整するために,クライアント固有の適応しきい値設定と学習状況認識アグリゲーションを導入する。
3つのベンチマークデータセットに関する実験では、特にラベル付きデータが少ないシナリオにおいて、我々のアプローチがパフォーマンスを大幅に改善し、SSLとのギャップを埋めることを示した。
関連論文リスト
- Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。
本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。
提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-05-31T03:13:45Z) - Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳（メタデータ） (2024-04-24T02:22:50Z) - FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳（メタデータ） (2024-02-15T18:48:21Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - Combating Data Imbalances in Federated Semi-supervised Learning with
Dual Regulators [40.12377870379059]
フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。
デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。
FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-11T15:45:03Z) - Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint
Localization [88.74813798138466]
オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。
キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。
本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
論文 参考訳（メタデータ） (2022-01-21T09:51:58Z) - Federated Semi-Supervised Learning with Class Distribution Mismatch [34.46190258291223]
フェデレート半教師付き学習(Fed-SSL)はラベル付きデータとラベルなしデータの両方を完全に活用するための魅力的なソリューションである。
我々は、Fed-SSLにおけるクラス分散ミスマッチ問題を効果的に緩和できる2つの適切な正規化項を導入する。
我々は、分散低減と正規化平均化技術を活用して、新しいFed-SSLアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-29T14:18:20Z) - FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning
and Negative Learning [7.771967424619346]
Federated Learning (FL) は、分散化されたプライバシ保護機械学習(FL)フレームワークとして人気がある。
本稿では,この半教師付きフェデレート学習(SSFL)問題を解くために,FedSEALと呼ばれる新しいFLアルゴリズムを提案する。
提案アルゴリズムは,自己アンサンブル学習と相補的負学習を利用して,未ラベルデータに対するクライアントの教師なし学習の精度と効率を両立させる。
論文 参考訳（メタデータ） (2021-10-15T03:03:23Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳（メタデータ） (2021-02-25T14:56:19Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。