論文の概要: Personalised Federated Learning: A Combinational Approach

• arxiv url: http://arxiv.org/abs/2108.09618v1
• Date: Sun, 22 Aug 2021 02:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 04:43:06.488701
• Title: Personalised Federated Learning: A Combinational Approach
• Title（参考訳）: パーソナライズされた連合学習:組み合わせアプローチ
• Authors: Sone Kyaw Pye and Han Yu
• Abstract要約: Federated Learning(FL)は、複数のクライアントが共同で共有モデルをトレーニングする分散機械学習アプローチである。 FLでは、差分プライバシ(DP)やロバストアグリゲーション(RA)などのプライバシーと整合性保護機能が一般的に使用されている。 本研究では,一般的なディープラーニングタスクにおいて,FLモデルの性能がクライアントや状況によって異なることを示す。
• 参考スコア（独自算出の注目度）: 10.204907134342637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed machine learning approach involving multiple clients collaboratively training a shared model. Such a system has the advantage of more training data from multiple clients, but data can be non-identically and independently distributed (non-i.i.d.). Privacy and integrity preserving features such as differential privacy (DP) and robust aggregation (RA) are commonly used in FL. In this work, we show that on common deep learning tasks, the performance of FL models differs amongst clients and situations, and FL models can sometimes perform worse than local models due to non-i.i.d. data. Secondly, we show that incorporating DP and RA degrades performance further. Then, we conduct an ablation study on the performance impact of different combinations of common personalization approaches for FL, such as finetuning, mixture-of-experts ensemble, multi-task learning, and knowledge distillation. It is observed that certain combinations of personalization approaches are more impactful in certain scenarios while others always improve performance, and combination approaches are better than individual ones. Most clients obtained better performance with combined personalized FL and recover from performance degradation caused by non-i.i.d. data, DP, and RA.
• Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが共同で共有モデルをトレーニングする分散機械学習アプローチである。 このようなシステムには、複数のクライアントからのより多くのトレーニングデータの利点があるが、データは識別不能で独立に分散される(非i.d.)。 FLでは、差分プライバシ(DP)やロバストアグリゲーション(RA)などのプライバシーと整合性保護機能が一般的に使用されている。 本研究は,一般的なディープラーニングタスクにおいて,FLモデルの性能がクライアントや状況によって異なることを示し,非i.dにより,FLモデルが局所モデルよりも悪い結果を示す。 データだ 次に,DPとRAの併用により性能がさらに低下することを示す。 次に, flにおける共通パーソナライズアプローチの異なる組み合わせによる性能への影響について, 微調整, ミックス・オブ・エキスパート・アンサンブル, マルチタスク学習, 知識蒸留などのアブレーション研究を行った。 パーソナライズアプローチの特定の組み合わせは、特定のシナリオにおいてより影響を受け、他の組み合わせは、常にパフォーマンスを改善し、組み合わせアプローチは個々のシナリオよりも優れていることが観察された。 ほとんどのクライアントは、パーソナライズされたFLと、非i.dによるパフォーマンス劣化から回復した。 data, DP, RA。

関連論文リスト

• Balancing Similarity and Complementarity for Federated Learning [91.65503655796603]
  フェデレートラーニング(FL)は、モバイルとIoTシステムにおいてますます重要になっている。 FLの重要な課題の1つは、非i.d.データのような統計的不均一性を管理することである。 FL協調における類似性と相補性のバランスをとる新しいフレームワークである texttFedSaC を導入する。
  論文  参考訳（メタデータ） (2024-05-16T08:16:19Z)
• How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning [12.86056968708516]
  フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。 本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。 我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
  論文  参考訳（メタデータ） (2024-01-24T05:41:34Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Optimizing the Collaboration Structure in Cross-Silo Federated Learning [43.388911479025225]
  フェデレートラーニング(FL)では、複数のクライアントが協力して機械学習モデルをトレーニングする。 クライアントのクラスタ化による非重複連立への負の移動を緩和する新しいFLフレームワークであるFedCollabを提案する。 以上の結果から,FedCollabは広い範囲のFLアルゴリズムにまたがる負の転送を効果的に軽減し,クラスタリングされたFLアルゴリズムを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-10T18:59:50Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。