論文の概要: When does the student surpass the teacher? Federated Semi-supervised
Learning with Teacher-Student EMA
- arxiv url: http://arxiv.org/abs/2301.10114v1
- Date: Tue, 24 Jan 2023 16:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:07:49.139595
- Title: When does the student surpass the teacher? Federated Semi-supervised
Learning with Teacher-Student EMA
- Title（参考訳）: その生徒はいつ先生を追い越しますか。
教師学生EMAによるフェデレーション半教師型学習
- Authors: Jessica Zhao, Sayan Ghosh, Akash Bharadwaj, Chih-Yao Ma
- Abstract要約: トレーニングデータが分散化され、クライアントデバイスに留まるシナリオでは、半監視学習(SSL)はフェデレートラーニング(Federated Learning)のようなプライバシ対応のトレーニング技術に統合されなければならない。
我々は、フェデレートされたイメージ分類の問題を検討し、既存のフェデレートされたSSLアプローチによるパフォーマンスとプライバシの課題について検討する。
本稿では,EMA (Exponential moving Average) アップデートにより,プライバシと一般化性能を向上させる新しいアプローチであるFedSwitchを提案する。
- 参考スコア（独自算出の注目度）: 11.021736806011722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-Supervised Learning (SSL) has received extensive attention in the domain
of computer vision, leading to development of promising approaches such as
FixMatch. In scenarios where training data is decentralized and resides on
client devices, SSL must be integrated with privacy-aware training techniques
such as Federated Learning. We consider the problem of federated image
classification and study the performance and privacy challenges with existing
federated SSL (FSSL) approaches. Firstly, we note that even state-of-the-art
FSSL algorithms can trivially compromise client privacy and other real-world
constraints such as client statelessness and communication cost. Secondly, we
observe that it is challenging to integrate EMA (Exponential Moving Average)
updates into the federated setting, which comes at a trade-off between
performance and communication cost. We propose a novel approach FedSwitch, that
improves privacy as well as generalization performance through Exponential
Moving Average (EMA) updates. FedSwitch utilizes a federated semi-supervised
teacher-student EMA framework with two features - local teacher adaptation and
adaptive switching between teacher and student for pseudo-label generation. Our
proposed approach outperforms the state-of-the-art on federated image
classification, can be adapted to real-world constraints, and achieves good
generalization performance with minimal communication cost overhead.
- Abstract（参考訳）: 半教師付き学習(ssl)はコンピュータビジョンの領域で広く注目を集め、fixmatchのような有望なアプローチの開発につながった。
トレーニングデータが分散化され、クライアントデバイスに留まるシナリオでは、SSLはフェデレートラーニングのようなプライバシ対応のトレーニング技術に統合されなければならない。
我々は、フェデレーション画像分類の問題を検討し、既存のフェデレーションssl(fssl)アプローチによるパフォーマンスとプライバシの課題について検討する。
まず、最先端のFSSLアルゴリズムでさえ、クライアントのプライバシや、クライアントのステートレスや通信コストといった現実世界の制約を、自明に妥協することができることに留意する。
第2に,ema(exponential moving average)の更新を,パフォーマンスと通信コストのトレードオフによるフェデレーション設定に統合することが困難であることを観察した。
本稿では,EMA(Exponential moving Average)更新により,プライバシと一般化性能を向上させる新しいアプローチであるFedSwitchを提案する。
FedSwitchは、教師と学生の相互適応と、擬似ラベル生成のための適応的な切り替えという、2つの特徴を持つ半教師型EMAフレームワークを使用している。
提案手法は,フェデレーション画像分類の最先端を上回り,実世界の制約に適応できるとともに,通信コストの最小化による良好な一般化性能を実現する。
関連論文リスト
- Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
Semi-VFL (Vertical Semi-Federated Learning) は、フェデレーションのないすべての利用可能なデータを利用するための軽量なソリューションである。
そこで本稿では,Semi-VFLの効率的な実装として,JPL(Joint privileged learning framework)を提案する。
論文 参考訳（メタデータ） (2022-09-30T17:59:27Z) - Federated Zero-Shot Learning with Mid-Level Semantic Knowledge Transfer [58.518663290982765]
本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。
我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。
モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
論文 参考訳（メタデータ） (2022-08-29T10:05:49Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Divergence-aware Federated Self-Supervised Learning [16.025681567222477]
我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。
次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
論文 参考訳（メタデータ） (2022-04-09T04:15:02Z) - SSFL: Tackling Label Deficiency in Federated Learning via Personalized
Self-Supervision [34.38856587032084]
Federated Learning(FL)は、MLトレーニングエコシステムを、クラウド上の集中的な設定から、エッジデバイス上での分散トレーニングへと変えようとしている。
本稿では,自己教師型・パーソナライズド・フェデレーション・ラーニング・フレームワークである,自己教師型フェデレーション・ラーニング(SSFL)を提案する。
FLにおける教師なし学習と教師なし学習との評価精度の差は小さく,合理的であることを示す。
論文 参考訳（メタデータ） (2021-10-06T02:58:45Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - H-FL: A Hierarchical Communication-Efficient and Privacy-Protected
Architecture for Federated Learning [0.2741266294612776]
本稿では,この課題に対処するため,階層型連合学習(H-FL)と呼ばれる新しい枠組みを提案する。
トレーニングデータの統計的不均一性によるモデル性能の劣化を考慮すると,実行時分布再構成戦略を考案する。
さらに,H-FLに組み込まれた圧縮補正機構を設計し,モデル性能を犠牲にすることなく通信オーバーヘッドを低減する。
論文 参考訳（メタデータ） (2021-06-01T07:15:31Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Adaptive Federated Dropout: Improving Communication Efficiency and
Generalization for Federated Learning [6.982736900950362]
フェデレートラーニング(Federated Learning)として知られる、革命的な分散機械学習設定により、異なる地理的場所に位置する複数のクライアントが、機械学習モデルの共同学習が可能になる。
クライアントとサーバ間のコミュニケーションは、連合学習の収束時間における主要なボトルネックと考えられている。
本稿では,適応型フェデレート・ドロップアウト(AFD)を提案する。
論文 参考訳（メタデータ） (2020-11-08T18:41:44Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。