論文の概要: SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision

• arxiv url: http://arxiv.org/abs/2110.02470v1
• Date: Wed, 6 Oct 2021 02:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 05:28:32.862700
• Title: SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision
• Title（参考訳）: ssfl:自己監督による連合学習におけるラベル不足対策
• Authors: Chaoyang He, Zhengyu Yang, Erum Mushtaq, Sunwoo Lee, Mahdi Soltanolkotabi, Salman Avestimehr
• Abstract要約: Federated Learning(FL)は、MLトレーニングエコシステムを、クラウド上の集中的な設定から、エッジデバイス上での分散トレーニングへと変えようとしている。 本稿では,自己教師型・パーソナライズド・フェデレーション・ラーニング・フレームワークである,自己教師型フェデレーション・ラーニング(SSFL)を提案する。 FLにおける教師なし学習と教師なし学習との評価精度の差は小さく,合理的であることを示す。
• 参考スコア（独自算出の注目度）: 34.38856587032084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is transforming the ML training ecosystem from a centralized over-the-cloud setting to distributed training over edge devices in order to strengthen data privacy. An essential but rarely studied challenge in FL is label deficiency at the edge. This problem is even more pronounced in FL compared to centralized training due to the fact that FL users are often reluctant to label their private data. Furthermore, due to the heterogeneous nature of the data at edge devices, it is crucial to develop personalized models. In this paper we propose self-supervised federated learning (SSFL), a unified self-supervised and personalized federated learning framework, and a series of algorithms under this framework which work towards addressing these challenges. First, under the SSFL framework, we demonstrate that the standard FedAvg algorithm is compatible with recent breakthroughs in centralized self-supervised learning such as SimSiam networks. Moreover, to deal with data heterogeneity at the edge devices in this framework, we have innovated a series of algorithms that broaden existing supervised personalization algorithms into the setting of self-supervised learning. We further propose a novel personalized federated self-supervised learning algorithm, Per-SSFL, which balances personalization and consensus by carefully regulating the distance between the local and global representations of data. To provide a comprehensive comparative analysis of all proposed algorithms, we also develop a distributed training system and related evaluation protocol for SSFL. Our findings show that the gap of evaluation accuracy between supervised learning and unsupervised learning in FL is both small and reasonable. The performance comparison indicates the representation regularization-based personalization method is able to outperform other variants.
• Abstract（参考訳）: federated learning(fl)は、データのプライバシを強化するために、mlトレーニングエコシステムを、クラウド上の集中型設定からエッジデバイス上の分散トレーニングに転換している。 flにおける本質的だが稀な課題は、端のラベル不足である。 この問題は、FLユーザーがプライベートデータのラベル付けに消極的であることから、集中的なトレーニングよりもFLの方が顕著である。 さらに,エッジデバイスにおけるデータの不均一性から,パーソナライズモデルの開発が重要である。 本稿では,自己教師付き連合学習(self-supervised federated learning; ssfl),自己教師付きおよびパーソナライズされた連合学習フレームワーク,およびこれらの課題に対処するための一連のアルゴリズムを提案する。 まず,SSFLフレームワーク下では,SimSiamネットワークなどの集中型自己教師型学習において,FedAvgアルゴリズムが近年のブレークスルーと互換性があることを実証する。 さらに,本フレームワークのエッジデバイスにおけるデータ不均一性に対処するため,既存の教師付きパーソナライゼーションアルゴリズムを自己教師付き学習の設定へと拡張するアルゴリズムを改良した。 さらに,データの局所表現と大域表現との間の距離を慎重に調整することにより,パーソナライズとコンセンサスをバランスさせる,パーソナライズされた自己教師付き学習アルゴリズムであるper-ssflを提案する。 また,提案アルゴリズムの総合的な比較分析を行うために,分散トレーニングシステムとSSFLの関連評価プロトコルを開発した。 その結果,flにおける教師付き学習と教師なし学習の間の評価精度の差は小さく合理的であることがわかった。 性能比較は、表現正規化に基づくパーソナライズ法が他の変種よりも優れていることを示す。

関連論文リスト

• De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
  この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。 De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。 その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
  論文  参考訳（メタデータ） (2024-10-08T15:31:10Z)
• Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
  Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
  論文  参考訳（メタデータ） (2023-12-20T19:11:19Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
  フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。 本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:50Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。