論文の概要: Can Fair Federated Learning reduce the need for Personalisation?
- arxiv url: http://arxiv.org/abs/2305.02728v1
- Date: Thu, 4 May 2023 11:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 16:02:03.025754
- Title: Can Fair Federated Learning reduce the need for Personalisation?
- Title（参考訳）: 公正なフェデレーション学習はパーソナライゼーションの必要性を減らすことができるか?
- Authors: Alex Iacob, Pedro P. B. Gusm\~ao, Nicholas D. Lane
- Abstract要約: フェデレートラーニング(FL)は、データを共有することなく、エッジクライアント上でMLモデルをトレーニングすることを可能にする。
本稿では、Fair FL (FFL) アルゴリズムをパーソナライゼーションの出発点として評価する。
本研究では,個人化を意識したフェデレーション学習(PaFL)を,トレーニング中に個人化損失を事前に活用するパラダイムとして提案する。
- 参考スコア（独自算出の注目度）: 9.595853312558276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) enables training ML models on edge clients without
sharing data. However, the federated model's performance on local data varies,
disincentivising the participation of clients who benefit little from FL. Fair
FL reduces accuracy disparity by focusing on clients with higher losses while
personalisation locally fine-tunes the model. Personalisation provides a
participation incentive when an FL model underperforms relative to one trained
locally. For situations where the federated model provides a lower accuracy
than a model trained entirely locally by a client, personalisation improves the
accuracy of the pre-trained federated weights to be similar to or exceed those
of the local client model. This paper evaluates two Fair FL (FFL) algorithms as
starting points for personalisation. Our results show that FFL provides no
benefit to relative performance in a language task and may double the number of
underperforming clients for an image task. Instead, we propose
Personalisation-aware Federated Learning (PaFL) as a paradigm that
pre-emptively uses personalisation losses during training. Our technique shows
a 50% reduction in the number of underperforming clients for the language task
while lowering the number of underperforming clients in the image task instead
of doubling it. Thus, evidence indicates that it may allow a broader set of
devices to benefit from FL and represents a promising avenue for future
experimentation and theoretical analysis.
- Abstract（参考訳）: federated learning(fl)は、データを共有することなく、エッジクライアントでmlモデルをトレーニング可能にする。
しかしながら、フェデレーションモデルのローカルデータに対するパフォーマンスは様々であり、flからほとんど利益を得られないクライアントの参加のインセンティブが低下する。
Fair FLは、モデルを局所的に微調整する一方で、損失の多いクライアントに焦点を合わせることにより、精度の格差を低減する。
パーソナライゼーションは、FLモデルが局所的に訓練されたものに比べてパフォーマンスが低い場合に、参加インセンティブを提供する。
フェデレーションモデルが、クライアントが完全にローカルに訓練したモデルよりも低い精度を提供する状況において、パーソナライゼーションは、トレーニング済みのフェデレーション重量の精度を、ローカルクライアントモデルと類似またはそれ以上に改善する。
本稿では2つのFFLアルゴリズムをパーソナライゼーションの出発点として評価する。
以上の結果から,FFLは言語タスクの相対的性能に何の利益も与えず,画像タスクにおける性能の低いクライアントの数が2倍になる可能性が示唆された。
代わりに、トレーニング中に個人化損失を事前に利用するパラダイムとしてパーソナライズ対応フェデレーションラーニング(PaFL)を提案する。
提案手法は,言語タスクにおける性能の低いクライアントの数を50%削減し,画像タスクにおける性能の低いクライアントの数を2倍に抑える。
したがって、この証拠は幅広いデバイスがFLから恩恵を受けることができ、将来の実験と理論解析の道のりを示す可能性があることを示している。
関連論文リスト
- Fairness-Aware Client Selection for Federated Learning [13.781019191483864]
フェデレートラーニング(FL)により、複数のデータ所有者(FLクライアント)が、プライベートデータを公開せずに、機械学習モデルを協調的にトレーニングできるようになった。
FLサーバは各トレーニングラウンドで限られた数のクライアントしか扱えないため、FLクライアントの選択は重要な研究課題となっている。
Lyapunovの最適化に基づき、FLクライアントの評判、FLタスクへの参加時期、モデル性能への貢献を共同で考慮し、FLクライアントの選択確率を動的に調整する。
論文 参考訳（メタデータ） (2023-07-20T10:04:55Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳（メタデータ） (2023-05-04T12:21:34Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳（メタデータ） (2023-04-16T20:19:18Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。
FLに関連する課題の1つは、クライアント間の統計的多様性である。
封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T00:55:23Z) - Salvaging Federated Learning by Local Adaptation [26.915147034955925]
フェデレートラーニング(Federated Learning, FL)は、機密データに基づいてMLモデルをトレーニングする手法である。
個人がFLに参加する動機があるのか?」と問いかける。
次単語予測のような標準的なタスクでは、フェデレーションモデルがローカルでトレーニングできるモデルよりもデータ上で精度が低いため、多くの参加者がFLから恩恵を受けないことが示される。
我々は, ファインチューニング, マルチタスク学習, 知識蒸留という, フェデレーションモデルの局所的適応のための3つの手法を評価する。
論文 参考訳（メタデータ） (2020-02-12T01:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。