Fugu-MT 論文翻訳(概要): Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators

論文の概要: Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators

arxiv url: http://arxiv.org/abs/2307.05358v3
Date: Mon, 11 Mar 2024 15:48:08 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 16:46:23.014184
Title: Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators
Title（参考訳）: デュアルレギュレータを用いたフェデレーション半教師あり学習におけるデータ不均衡
Authors: Sikai Bai, Shuaicheng Li, Weiming Zhuang, Jie Zhang, Song Guo, Kunlin Yang, Jun Hou, Shuai Zhang, Junyu Gao, Shuai Yi
Abstract要約: フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。 FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
参考スコア（独自算出の注目度）: 40.12377870379059
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has become a popular method to learn from decentralized heterogeneous data. Federated semi-supervised learning (FSSL) emerges to train models from a small fraction of labeled data due to label scarcity on decentralized clients. Existing FSSL methods assume independent and identically distributed (IID) labeled data across clients and consistent class distribution between labeled and unlabeled data within a client. This work studies a more practical and challenging scenario of FSSL, where data distribution is different not only across clients but also within a client between labeled and unlabeled data. To address this challenge, we propose a novel FSSL framework with dual regulators, FedDure. FedDure lifts the previous assumption with a coarse-grained regulator (C-reg) and a fine-grained regulator (F-reg): C-reg regularizes the updating of the local model by tracking the learning effect on labeled data distribution; F-reg learns an adaptive weighting scheme tailored for unlabeled instances in each client. We further formulate the client model training as bi-level optimization that adaptively optimizes the model in the client with two regulators. Theoretically, we show the convergence guarantee of the dual regulators. Empirically, we demonstrate that FedDure is superior to the existing methods across a wide range of settings, notably by more than 11 on CIFAR-10 and CINIC-10 datasets.
Abstract（参考訳）: 分散学習は分散異種データから学ぶための一般的な方法となっている。フェデレーション半教師付き学習(FSSL)は、分散クライアントのラベル不足により、ラベル付きデータのごく一部からモデルをトレーニングするために現れる。既存のFSSLメソッドは、クライアント間で独立および同一に分散された(IID)ラベル付きデータと、クライアント内でラベル付きおよび未ラベル付きデータ間の一貫性のあるクラス分散を前提としている。この研究は、クライアント間だけでなく、ラベル付きデータとラベルなしデータの間でデータ分散が異なる、FSSLのより実践的で困難なシナリオを研究する。この課題に対処するために、デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。粒度調整器(c−reg)と粒度調整器(f−reg):c−regはラベル付きデータ分布の学習効果を追跡して局所モデルの更新を規則化し、f−regは各クライアントのラベル付きインスタンス用に調整された適応重み付けスキームを学習する。さらに,2つのレギュレータを用いてクライアント内のモデルを適応的に最適化するバイレベル最適化として,クライアントモデルのトレーニングを定式化する。理論的には、二重レギュレータの収束保証を示す。実証的に、FedDureは、CIFAR-10とCINIC-10データセットの11以上で、幅広い設定で既存のメソッドよりも優れていることを実証した。

関連論文リスト

(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
論文参考訳（メタデータ） (2024-10-30T17:15:02Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Towards Unbiased Training in Federated Open-world Semi-supervised Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文参考訳（メタデータ） (2023-05-01T11:12:37Z)
Dual Class-Aware Contrastive Federated Semi-Supervised Learning [9.742389743497045]
本稿では,FSSL(Federated Semi-Supervised Learning)手法について紹介する。デュアルクラス対応のコントラストモジュールを実装することで、DCCFSSLは、さまざまなクライアントが大きな逸脱に対処するための統一的なトレーニング目標を確立する。実験の結果,DCCFSSLは3つのベンチマークデータセットにおいて最先端の手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2022-11-16T13:54:31Z)
Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文参考訳（メタデータ） (2022-04-07T09:12:00Z)
Federated Semi-Supervised Learning with Class Distribution Mismatch [34.46190258291223]
フェデレート半教師付き学習(Fed-SSL)はラベル付きデータとラベルなしデータの両方を完全に活用するための魅力的なソリューションである。我々は、Fed-SSLにおけるクラス分散ミスマッチ問題を効果的に緩和できる2つの適切な正規化項を導入する。我々は、分散低減と正規化平均化技術を活用して、新しいFed-SSLアルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-29T14:18:20Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文参考訳（メタデータ） (2020-10-18T13:28:30Z)
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。