論文の概要: Divergence-aware Federated Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2204.04385v1
- Date: Sat, 9 Apr 2022 04:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 13:32:26.840775
- Title: Divergence-aware Federated Self-Supervised Learning
- Title（参考訳）: ダイバージェンスを意識した自己教師付き学習
- Authors: Weiming Zhuang, Yonggang Wen, Shuai Zhang
- Abstract要約: 我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。
次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
- 参考スコア（独自算出の注目度）: 16.025681567222477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) is capable of learning remarkable
representations from centrally available data. Recent works further implement
federated learning with SSL to learn from rapidly growing decentralized
unlabeled images (e.g., from cameras and phones), often resulted from privacy
constraints. Extensive attention has been paid to SSL approaches based on
Siamese networks. However, such an effort has not yet revealed deep insights
into various fundamental building blocks for the federated self-supervised
learning (FedSSL) architecture. We aim to fill in this gap via in-depth
empirical study and propose a new method to tackle the non-independently and
identically distributed (non-IID) data problem of decentralized data. Firstly,
we introduce a generalized FedSSL framework that embraces existing SSL methods
based on Siamese networks and presents flexibility catering to future methods.
In this framework, a server coordinates multiple clients to conduct SSL
training and periodically updates local models of clients with the aggregated
global model. Using the framework, our study uncovers unique insights of
FedSSL: 1) stop-gradient operation, previously reported to be essential, is not
always necessary in FedSSL; 2) retaining local knowledge of clients in FedSSL
is particularly beneficial for non-IID data. Inspired by the insights, we then
propose a new approach for model update, Federated Divergence-aware Exponential
Moving Average update (FedEMA). FedEMA updates local models of clients
adaptively using EMA of the global model, where the decay rate is dynamically
measured by model divergence. Extensive experiments demonstrate that FedEMA
outperforms existing methods by 3-4% on linear evaluation. We hope that this
work will provide useful insights for future research.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、中央で利用可能なデータから顕著な表現を学習することができる。
最近の研究はSSLによるフェデレーション学習を実装し、急速に成長する分散化されていない画像(例えばカメラや携帯電話から)から学習する。
Siameseネットワークに基づくSSLアプローチには、大きな注目を集めている。
しかし、このような取り組みは、federated self-supervised learning (fedssl)アーキテクチャのさまざまな基本的な構成要素に対する深い洞察をまだ明らかにしていない。
我々は,このギャップを詳細な実証研究を通じて埋めることを目指しており,非独立的かつ同一に分散された非IIDデータ問題に対処する新しい手法を提案する。
まず,Siameseネットワークをベースとした既存のSSLメソッドを取り入れたFedSSLフレームワークを紹介する。
このフレームワークでは、サーバが複数のクライアントをコーディネートしてSSLトレーニングを行い、集約されたグローバルモデルでクライアントのローカルモデルを定期的に更新する。
このフレームワークを使って、我々の研究はFedSSLのユニークな洞察を明らかにした。
1) 従来は必須とされていた停止段階の操作は,必ずしもFedSSLで必要ではない。
2) FedSSLにおけるクライアントのローカル知識を維持することは、非IIDデータにとって特に有益である。
この知見に触発されて、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
FedEMAはグローバルモデルのEMAを用いてクライアントのローカルモデルを適応的に更新する。
大規模な実験により、FedEMAは線形評価において既存の手法よりも3.4%優れていた。
この研究が今後の研究に役立つことを願っている。
関連論文リスト
- Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。
本稿では,FinSSLという新しいSSLアプローチを提案する。
我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-05-20T03:33:12Z) - Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。
本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。
我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
論文 参考訳（メタデータ） (2022-12-23T15:46:23Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Does Decentralized Learning with Non-IID Unlabeled Data Benefit from
Self Supervision? [51.00034621304361]
自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究
本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2022-10-20T01:32:41Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳（メタデータ） (2022-09-05T14:49:34Z) - Exploring Semantic Attributes from A Foundation Model for Federated
Learning of Disjoint Label Spaces [46.59992662412557]
本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。
我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。
モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
論文 参考訳（メタデータ） (2022-08-29T10:05:49Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳（メタデータ） (2022-03-17T02:38:49Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳（メタデータ） (2021-07-07T15:42:49Z) - Segmented Federated Learning for Adaptive Intrusion Detection System [0.6445605125467573]
サイバー攻撃は組織に大きな財政的利益をもたらし、評判を害する。
現在のネットワーク侵入検知システム(NIDS)は不十分なようだ。
より効率的なNIDSのためのSegmented-Federated Learning(Segmented-FL)学習手法を提案する。
論文 参考訳（メタデータ） (2021-07-02T07:47:05Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳（メタデータ） (2020-12-24T01:43:53Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。