論文の概要: SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients

• arxiv url: http://arxiv.org/abs/2106.01432v1
• Date: Wed, 2 Jun 2021 19:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:05:55.602458
• Title: SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients
• Title（参考訳）: SemiFL: ラベルなしクライアントによる半教師付きフェデレーション学習
• Authors: Enmao Diao, Jie Ding, Vahid Tarokh
• Abstract要約: 我々はSemiFLと呼ばれる新しいフェデレートラーニングフレームワークを提案する。 SemiFLでは、クライアントは完全にラベル付けされていないデータを持ち、サーバは少量のラベル付きデータを持っている。 学習性能を向上させるためのSemiFLの様々な効率的な戦略を実証する。
• 参考スコア（独自算出の注目度）: 34.24028216079336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning allows training machine learning models by using the computation and private data resources of a large number of distributed clients such as smartphones and IoT devices. Most existing works on Federated Learning (FL) assume the clients have ground-truth labels. However, in many practical scenarios, clients may be unable to label task-specific data, e.g., due to lack of expertise. In this work, we consider a server that hosts a labeled dataset, and wishes to leverage clients with unlabeled data for supervised learning. We propose a new Federated Learning framework referred to as SemiFL in order to address the problem of Semi-Supervised Federated Learning (SSFL). In SemiFL, clients have completely unlabeled data, while the server has a small amount of labeled data. SemiFL is communication efficient since it separates the training of server-side supervised data and client-side unsupervised data. We demonstrate various efficient strategies of SemiFL that enhance learning performance. Extensive empirical evaluations demonstrate that our communication efficient method can significantly improve the performance of a labeled server with unlabeled clients. Moreover, we demonstrate that SemiFL can outperform many existing FL results trained with fully supervised data, and perform competitively with the state-of-the-art centralized Semi-Supervised Learning (SSL) methods. For instance, in standard communication efficient scenarios, our method can perform 93% accuracy on the CIFAR10 dataset with only 4000 labeled samples at the server. Such accuracy is only 2% away from the result trained from 50000 fully labeled data, and it improves about 30% upon existing SSFL methods in the communication efficient setting.
• Abstract（参考訳）: Federated Learningは、スマートフォンやIoTデバイスなど、多数の分散クライアントの計算とプライベートデータリソースを使用することで、マシンラーニングモデルをトレーニングすることが可能になる。 フェデレーション学習(fl)に関する既存の研究の多くは、クライアントが接地ラベルを持っていると仮定している。 しかし、多くの実践シナリオでは、クライアントは専門知識の欠如など、タスク固有のデータをラベル付けできない場合がある。 本研究では,ラベル付きデータセットをホストするサーバについて検討し,未ラベルのデータをクライアントに活用して教師あり学習を行う。 本稿では,Semi-Supervised Federated Learning (SSFL) の課題に対処するため,SemiFLと呼ばれる新しいフェデレートラーニングフレームワークを提案する。 SemiFLでは、クライアントは完全にラベル付きデータを持ち、サーバはラベル付きデータが少ない。 SemiFLはサーバ側の教師なしデータとクライアント側の教師なしデータのトレーニングを分離するため通信効率が良い。 学習性能を向上させるsemiflの様々な効率的な戦略を示す。 広範な経験的評価により,通信効率のよい手法がラベルなしクライアントによるラベル付きサーバの性能を大幅に向上できることが証明された。 さらに,semiflは,完全教師付きデータでトレーニングされた既存のfl結果を上回ることができ,最先端の中央集中型半教師付き学習(ssl)法と競合することを示した。 例えば、標準的な通信効率の良いシナリオでは、サーバで4000のラベル付きサンプルしか持たないcifar10データセットで93%の精度を実現できる。 このような精度は、50000のラベル付きデータからトレーニングされた結果からわずか2%離れており、通信効率の良い設定で既存のssflメソッドで約30%改善されている。

関連論文リスト

• SemiDFL: A Semi-Supervised Paradigm for Decentralized Federated Learning [12.542161138042632]
  分散連合学習(DFL)は,中央サーバに頼らずに,接続されたクライアント間の協調モデルトレーニングを実現する。 DFLに関する既存の作業の多くは、各クライアントがローカルトレーニングに十分なラベル付きデータを持っていることを前提として、教師付き学習に重点を置いている。 そこで本研究では,データ空間とモデル空間のコンセンサスを確立することで,SSLシナリオにおけるDFL性能を向上させる,最初の半教師付きDFL手法であるSemiDFLを提案する。
  論文  参考訳（メタデータ） (2024-12-18T08:12:55Z)
• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
  フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。 クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。 本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
  論文  参考訳（メタデータ） (2023-07-29T02:35:37Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating Heterogeneous Lightweight Clients in IoT [34.128674870180596]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。 画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-03-05T13:19:10Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning [7.771967424619346]
  Federated Learning (FL) は、分散化されたプライバシ保護機械学習(FL)フレームワークとして人気がある。 本稿では,この半教師付きフェデレート学習(SSFL)問題を解くために,FedSEALと呼ばれる新しいFLアルゴリズムを提案する。 提案アルゴリズムは,自己アンサンブル学習と相補的負学習を利用して,未ラベルデータに対するクライアントの教師なし学習の精度と効率を両立させる。
  論文  参考訳（メタデータ） (2021-10-15T03:03:23Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。