論文の概要: Federated Semi-Supervised Learning with Class Distribution Mismatch
- arxiv url: http://arxiv.org/abs/2111.00010v1
- Date: Fri, 29 Oct 2021 14:18:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:29:10.495399
- Title: Federated Semi-Supervised Learning with Class Distribution Mismatch
- Title（参考訳）: クラス分散ミスマッチを用いたフェデレーション半教師付き学習
- Authors: Zhiguo Wang, Xintong Wang, Ruoyu Sun and Tsung-Hui Chang
- Abstract要約: フェデレート半教師付き学習(Fed-SSL)はラベル付きデータとラベルなしデータの両方を完全に活用するための魅力的なソリューションである。
我々は、Fed-SSLにおけるクラス分散ミスマッチ問題を効果的に緩和できる2つの適切な正規化項を導入する。
我々は、分散低減と正規化平均化技術を活用して、新しいFed-SSLアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 34.46190258291223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many existing federated learning (FL) algorithms are designed for supervised
learning tasks, assuming that the local data owned by the clients are well
labeled. However, in many practical situations, it could be difficult and
expensive to acquire complete data labels. Federated semi-supervised learning
(Fed-SSL) is an attractive solution for fully utilizing both labeled and
unlabeled data. Similar to that encountered in federated supervised learning,
class distribution of labeled/unlabeled data could be non-i.i.d. among clients.
Besides, in each client, the class distribution of labeled data may be distinct
from that of unlabeled data. Unfortunately, both can severely jeopardize the FL
performance. To address such challenging issues, we introduce two proper
regularization terms that can effectively alleviate the class distribution
mismatch problem in Fed-SSL. In addition, to overcome the non-i.i.d. data, we
leverage the variance reduction and normalized averaging techniques to develop
a novel Fed-SSL algorithm. Theoretically, we prove that the proposed method has
a convergence rate of $\mathcal{O}(1/\sqrt{T})$, where $T$ is the number of
communication rounds, even when the data distribution are non-i.i.d. among
clients. To the best of our knowledge, it is the first formal convergence
result for Fed-SSL problems. Numerical experiments based on MNIST data and
CIFAR-10 data show that the proposed method can greatly improve the
classification accuracy compared to baselines.
- Abstract（参考訳）: 既存のフェデレーション学習(fl)アルゴリズムの多くは、クライアントが所有するローカルデータが適切にラベル付けされていると仮定して、教師付き学習タスクのために設計されている。
しかし、多くの実践的な状況において、完全なデータラベルを取得することは困難で費用がかかる可能性がある。
フェデレート半教師付き学習(Fed-SSL)はラベル付きデータとラベルなしデータの両方を完全に活用するための魅力的なソリューションである。
フェデレートされた教師付き学習で遭遇したのと同様、ラベル付き/ラベルなしデータのクラス分布はクライアント間で非i.d.になる可能性がある。
さらに、各クライアントでは、ラベル付きデータのクラス分布はラベル付きデータと区別される可能性がある。
残念ながら、どちらもFLパフォーマンスをひどく損なう可能性がある。
このような課題に対処するために,フェデレーションsslにおけるクラス分布ミスマッチ問題を効果的に緩和できる2つの適切な正規化項を導入する。
さらに,非i.i.d.データを克服するため,分散低減法と正規化平均化法を用いて新しいfeed-sslアルゴリズムを開発した。
理論的には、提案手法が$\mathcal{o}(1/\sqrt{t})$という収束率を持つことが証明される。
私たちの知る限りでは、Fed-SSL問題に対する最初の正式な収束結果である。
MNISTデータとCIFAR-10データに基づく数値実験により,提案手法はベースラインに比べて分類精度を大幅に向上できることを示した。
関連論文リスト
- (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。
ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。
本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文 参考訳（メタデータ） (2024-10-30T17:15:02Z) - Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning [74.44500692632778]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-25T11:54:07Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - JointMatch: A Unified Approach for Diverse and Collaborative
Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。
擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。
我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
論文 参考訳（メタデータ） (2023-10-23T05:43:35Z) - Combating Data Imbalances in Federated Semi-supervised Learning with
Dual Regulators [40.12377870379059]
フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。
デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。
FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-11T15:45:03Z) - BiSTF: Bilateral-Branch Self-Training Framework for Semi-Supervised
Large-scale Fine-Grained Recognition [28.06659482245647]
半教師付きファイングラインド認識は、データ不均衡、高いクラス間類似性、ドメインミスマッチによる課題である。
本稿では,バイラテラルブランチ・セルフトレーニング・フレームワーク (Bilateral-Branch Self-Training Framework, BiSTF) を提案する。
BiSTFはSemi-iNatデータセット上で既存の最先端SSLよりも優れています。
論文 参考訳（メタデータ） (2021-07-14T15:28:54Z) - OpenMatch: Open-set Consistency Regularization for Semi-supervised
Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。
OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。
3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文 参考訳（メタデータ） (2021-05-28T23:57:15Z) - Matching Distributions via Optimal Transport for Semi-Supervised
Learning [31.533832244923843]
SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。
本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。
提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
論文 参考訳（メタデータ） (2020-12-04T11:15:14Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。