論文の概要: Federated Self-supervised Learning for Heterogeneous Clients
- arxiv url: http://arxiv.org/abs/2205.12493v2
- Date: Thu, 26 May 2022 05:03:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 11:07:35.640238
- Title: Federated Self-supervised Learning for Heterogeneous Clients
- Title（参考訳）: 不均一クライアントのためのフェデレーション自己教師型学習
- Authors: Disha Makhija, Nhat Ho, Joydeep Ghosh
- Abstract要約: 異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。
提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。
我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
- 参考スコア（独自算出の注目度）: 20.33482170846688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning has become an important learning paradigm due to its
privacy and computational benefits. As the field advances, two key challenges
that still remain to be addressed are: (1) system heterogeneity - variability
in the compute and/or data resources present on each client, and (2) lack of
labeled data in certain federated settings. Several recent developments have
tried to overcome these challenges independently. In this work, we propose a
unified and systematic framework, \emph{Heterogeneous Self-supervised Federated
Learning} (Hetero-SSFL) for enabling self-supervised learning with federation
on heterogeneous clients. The proposed framework allows collaborative
representation learning across all the clients without imposing architectural
constraints or requiring presence of labeled data. The key idea in Hetero-SSFL
is to let each client train its unique self-supervised model and enable the
joint learning across clients by aligning the lower dimensional representations
on a common dataset. The entire training procedure could be viewed as self and
peer-supervised as both the local training and the alignment procedures do not
require presence of any labeled data. As in conventional self-supervised
learning, the obtained client models are task independent and can be used for
varied end-tasks. We provide a convergence guarantee of the proposed framework
for non-convex objectives in heterogeneous settings and also empirically
demonstrate that our proposed approach outperforms the state of the art methods
by a significant margin.
- Abstract（参考訳）: 連合学習は,プライバシと計算上のメリットから,重要な学習パラダイムとなっている。
1) システムの不均一性 - 各クライアントに存在する計算リソースおよび/またはデータリソースの変動性、(2) 特定のフェデレートされた設定におけるラベル付きデータの欠如。
最近のいくつかの開発は、これらの課題を独立して克服しようと試みている。
本研究では,異種クライアント上でのフェデレーションによる自己教師型学習を可能にする,統一的かつ体系的な枠組みである「ヘテロ・SSFL」を提案する。
提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントで協調的な表現学習を可能にする。
Hetero-SSFLのキーとなるアイデアは、各クライアントが独自の自己教師付きモデルをトレーニングし、共通データセット上の低次元表現を整列させることで、クライアント間の共同学習を可能にすることである。
トレーニング手順全体は、ローカルトレーニングとアライメントプロシージャの両方がラベル付きデータの存在を必要としないため、セルフおよびピア監視と見なすことができる。
従来の自己教師型学習と同様に、得られたクライアントモデルはタスク独立であり、様々なエンドタスクに使用できる。
我々は,不均一な環境での非凸目的に対する提案フレームワークの収束保証を提供するとともに,提案手法がアートメソッドの状態を著しく上回っていることを実証的に示す。
関連論文リスト
- Task-Agnostic Federated Learning [4.041327615026293]
本研究では,自己教師付きFLフレームワークを適応させることにより,未確認タスクのタスク非依存および一般化問題に対処する。
ビジョントランスフォーマー(ViT)を、自己教師付き事前トレーニングのためのコンセンサス機能エンコーダとして利用し、初期ラベルを必要とせず、さまざまなデータセットやタスク間で効果的な表現学習を可能にするフレームワークである。
論文 参考訳（メタデータ） (2024-06-25T02:53:37Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - A Closer Look at Personalization in Federated Image Classification [33.27317065917578]
フェデレートラーニング(FL)は、分散化されたデータにまたがる単一のグローバルモデルを学ぶために開発された。
本稿では,グローバルモデルの収束後,フレキシブルなパーソナライゼーションを実現することができることを示す。
独立二段階パーソナライズされたFLフレームワークであるRepPerを提案する。
論文 参考訳（メタデータ） (2022-04-22T06:32:18Z) - PerFED-GAN: Personalized Federated Learning via Generative Adversarial
Networks [46.17495529441229]
フェデレーション学習(Federated Learning)は、AI依存のIoTアプリケーションをデプロイするために使用できる分散機械学習手法である。
本稿では,協調学習とGANに基づく連合学習手法を提案する。
提案手法は,クライアントのモデルアーキテクチャとデータ分布が大きく異なる場合,既存手法の精度を平均42%向上させる。
論文 参考訳（メタデータ） (2022-02-18T12:08:46Z) - Factorized-FL: Agnostic Personalized Federated Learning with Kernel
Factorization & Similarity Matching [70.95184015412798]
現実世界のフェデレートされた学習シナリオでは、参加者は他のクライアントのものと互換性のない、独自のパーソナライズされたラベルを持つことができる。
本研究では,ラベル・タスク・ヘテロジニアス・フェデレーション・ラーニング・セッティングに効果的に取り組むためのFacterized-FLを提案する。
本手法はラベルとドメインの不均一な設定の両方で広範に検証し、最先端の個人化フェデレーション学習法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-01T08:00:59Z) - Non-IID data and Continual Learning processes in Federated Learning: A
long road ahead [58.720142291102135]
フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。
本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。
同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
論文 参考訳（メタデータ） (2021-11-26T09:57:11Z) - Federated Self-Supervised Contrastive Learning via Ensemble Similarity
Distillation [42.05438626702343]
本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。
本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-29T02:13:22Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。