論文の概要: When does the student surpass the teacher? Federated Semi-supervised
Learning with Teacher-Student EMA
- arxiv url: http://arxiv.org/abs/2301.10114v1
- Date: Tue, 24 Jan 2023 16:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:07:49.139595
- Title: When does the student surpass the teacher? Federated Semi-supervised
Learning with Teacher-Student EMA
- Title（参考訳）: その生徒はいつ先生を追い越しますか。
教師学生EMAによるフェデレーション半教師型学習
- Authors: Jessica Zhao, Sayan Ghosh, Akash Bharadwaj, Chih-Yao Ma
- Abstract要約: トレーニングデータが分散化され、クライアントデバイスに留まるシナリオでは、半監視学習(SSL)はフェデレートラーニング(Federated Learning)のようなプライバシ対応のトレーニング技術に統合されなければならない。
我々は、フェデレートされたイメージ分類の問題を検討し、既存のフェデレートされたSSLアプローチによるパフォーマンスとプライバシの課題について検討する。
本稿では,EMA (Exponential moving Average) アップデートにより,プライバシと一般化性能を向上させる新しいアプローチであるFedSwitchを提案する。
- 参考スコア（独自算出の注目度）: 11.021736806011722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-Supervised Learning (SSL) has received extensive attention in the domain
of computer vision, leading to development of promising approaches such as
FixMatch. In scenarios where training data is decentralized and resides on
client devices, SSL must be integrated with privacy-aware training techniques
such as Federated Learning. We consider the problem of federated image
classification and study the performance and privacy challenges with existing
federated SSL (FSSL) approaches. Firstly, we note that even state-of-the-art
FSSL algorithms can trivially compromise client privacy and other real-world
constraints such as client statelessness and communication cost. Secondly, we
observe that it is challenging to integrate EMA (Exponential Moving Average)
updates into the federated setting, which comes at a trade-off between
performance and communication cost. We propose a novel approach FedSwitch, that
improves privacy as well as generalization performance through Exponential
Moving Average (EMA) updates. FedSwitch utilizes a federated semi-supervised
teacher-student EMA framework with two features - local teacher adaptation and
adaptive switching between teacher and student for pseudo-label generation. Our
proposed approach outperforms the state-of-the-art on federated image
classification, can be adapted to real-world constraints, and achieves good
generalization performance with minimal communication cost overhead.
- Abstract（参考訳）: 半教師付き学習(ssl)はコンピュータビジョンの領域で広く注目を集め、fixmatchのような有望なアプローチの開発につながった。
トレーニングデータが分散化され、クライアントデバイスに留まるシナリオでは、SSLはフェデレートラーニングのようなプライバシ対応のトレーニング技術に統合されなければならない。
我々は、フェデレーション画像分類の問題を検討し、既存のフェデレーションssl(fssl)アプローチによるパフォーマンスとプライバシの課題について検討する。
まず、最先端のFSSLアルゴリズムでさえ、クライアントのプライバシや、クライアントのステートレスや通信コストといった現実世界の制約を、自明に妥協することができることに留意する。
第2に,ema(exponential moving average)の更新を,パフォーマンスと通信コストのトレードオフによるフェデレーション設定に統合することが困難であることを観察した。
本稿では,EMA(Exponential moving Average)更新により,プライバシと一般化性能を向上させる新しいアプローチであるFedSwitchを提案する。
FedSwitchは、教師と学生の相互適応と、擬似ラベル生成のための適応的な切り替えという、2つの特徴を持つ半教師型EMAフレームワークを使用している。
提案手法は,フェデレーション画像分類の最先端を上回り,実世界の制約に適応できるとともに,通信コストの最小化による良好な一般化性能を実現する。
関連論文リスト
- A deep cut into Split Federated Self-supervised Learning [0.0]
協調型自己教師型学習は、最近、高度に分散した環境で実現可能になった。
MocoSFLのような最先端の手法は、初期層のネットワーク分割に最適化されている。
MonAcoSFLを導入し、オンラインおよびモーメントクライアントモデルをトレーニング手順中に整列させる。
論文 参考訳（メタデータ） (2024-06-12T14:35:13Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。
通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-04-20T02:30:21Z) - Communication-Efficient Personalized Federated Learning for
Speech-to-Text Tasks [66.78640306687227]
プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。
S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。
我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-18T15:39:38Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳（メタデータ） (2023-02-24T14:27:41Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Divergence-aware Federated Self-Supervised Learning [16.025681567222477]
我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。
次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
論文 参考訳（メタデータ） (2022-04-09T04:15:02Z) - SSFL: Tackling Label Deficiency in Federated Learning via Personalized
Self-Supervision [34.38856587032084]
Federated Learning(FL)は、MLトレーニングエコシステムを、クラウド上の集中的な設定から、エッジデバイス上での分散トレーニングへと変えようとしている。
本稿では,自己教師型・パーソナライズド・フェデレーション・ラーニング・フレームワークである,自己教師型フェデレーション・ラーニング(SSFL)を提案する。
FLにおける教師なし学習と教師なし学習との評価精度の差は小さく,合理的であることを示す。
論文 参考訳（メタデータ） (2021-10-06T02:58:45Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Adaptive Federated Dropout: Improving Communication Efficiency and
Generalization for Federated Learning [6.982736900950362]
フェデレートラーニング(Federated Learning)として知られる、革命的な分散機械学習設定により、異なる地理的場所に位置する複数のクライアントが、機械学習モデルの共同学習が可能になる。
クライアントとサーバ間のコミュニケーションは、連合学習の収束時間における主要なボトルネックと考えられている。
本稿では,適応型フェデレート・ドロップアウト(AFD)を提案する。
論文 参考訳（メタデータ） (2020-11-08T18:41:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。