論文の概要: pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2305.15706v1
• Date: Thu, 25 May 2023 04:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:35:00.513415
• Title: pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning
• Title（参考訳）: pfedsim: パーソナライズされた連合学習への類似性認識モデルアグリゲーション
• Authors: Jiahao Tan, Yipeng Zhou, Gang Liu, Jessie Hui Wang, Shui Yu
• Abstract要約: モデルトレーニング中にデータのプライバシを保護するために、フェデレーション学習(FL)パラダイムが出現する。 FLの最大の課題の1つは、IID以外の(同一で、独立に分散されていない)データにある。 本稿では,モデル類似性に基づく新しいpFedSimアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 27.668944118750115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The federated learning (FL) paradigm emerges to preserve data privacy during model training by only exposing clients' model parameters rather than original data. One of the biggest challenges in FL lies in the non-IID (not identical and independently distributed) data (a.k.a., data heterogeneity) distributed on clients. To address this challenge, various personalized FL (pFL) methods are proposed such as similarity-based aggregation and model decoupling. The former one aggregates models from clients of a similar data distribution. The later one decouples a neural network (NN) model into a feature extractor and a classifier. Personalization is captured by classifiers which are obtained by local training. To advance pFL, we propose a novel pFedSim (pFL based on model similarity) algorithm in this work by combining these two kinds of methods. More specifically, we decouple a NN model into a personalized feature extractor, obtained by aggregating models from similar clients, and a classifier, which is obtained by local training and used to estimate client similarity. Compared with the state-of-the-art baselines, the advantages of pFedSim include: 1) significantly improved model accuracy; 2) low communication and computation overhead; 3) a low risk of privacy leakage; 4) no requirement for any external public information. To demonstrate the superiority of pFedSim, extensive experiments are conducted on real datasets. The results validate the superb performance of our algorithm which can significantly outperform baselines under various heterogeneous data settings.
• Abstract（参考訳）: フェデレートラーニング(FL)パラダイムは、オリジナルのデータではなく、クライアントのモデルパラメータのみを公開することによって、モデルトレーニング中のデータのプライバシを保護するために出現する。 FLの最大の課題の1つは、クライアントに分散された非IID(同一で独立に分散されていない)データ(すなわちデータ不均一性)である。 この課題に対処するために、類似性に基づくアグリゲーションやモデルデカップリングなど、様々なパーソナライズされたFL(pFL)手法を提案する。 前者は、同様のデータ分散のクライアントからモデルを集約する。 後に、ニューラルネットワーク(NN)モデルを特徴抽出器と分類器に分離する。 パーソナライゼーションは、ローカルトレーニングによって得られる分類器によって取得される。 そこで本研究では,これら2種類の手法を組み合わせて,pFedSim(モデル類似性に基づくpFL)アルゴリズムを提案する。 具体的には、NNモデルを、類似したクライアントからモデルを集約して得られるパーソナライズされた特徴抽出器と、ローカルトレーニングによって取得され、クライアントの類似性を推定するために使用される分類器とに分離する。 最先端のベースラインと比較して、pFedSimの利点は以下のとおりである。 1) モデル精度が大幅に向上した。 2) 通信の低さ及び計算オーバーヘッド 3) プライバシリークのリスクが低いこと。 4) 外部の公開情報に対する要件はない。 pFedSimの優位性を示すために、実際のデータセット上で広範な実験を行う。 その結果, 様々な異種データ設定下で, ベースラインを著しく上回り得るアルゴリズムの性能を検証した。

関連論文リスト

• CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models [8.85591781936764]
  我々はCoDreamという新しいフレームワークを提案し、クライアントはランダムなデータを協調的に最適化する。 私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。 モデルパラメータを共有しないにもかかわらず、標準的なFLタスクでCoDreamを実証的に検証し、競争性能を実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:07:32Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
  フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。 本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-02T08:07:34Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。