論文の概要: Bold but Cautious: Unlocking the Potential of Personalized Federated
Learning through Cautiously Aggressive Collaboration
- arxiv url: http://arxiv.org/abs/2309.11103v1
- Date: Wed, 20 Sep 2023 07:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 17:03:01.516725
- Title: Bold but Cautious: Unlocking the Potential of Personalized Federated
Learning through Cautiously Aggressive Collaboration
- Title（参考訳）: 大胆だが慎重:慎重かつ積極的なコラボレーションによるパーソナライズされた連合学習の可能性を解き放つ
- Authors: Xinghao Wu, Xuefeng Liu, Jianwei Niu, Guogang Zhu, Shaojie Tang
- Abstract要約: パーソナライズド・フェデレーション・ラーニング(PFL)の主な問題は、クライアントのどのパラメータをローカライズするか、他の人と共有すべきかを決めることである。
本稿では,PFLにおけるクライアントコラボレーションのための新しいガイドラインを紹介する。
我々はFedCACと呼ばれる新しいPFL法を提案し、パラメータの非IIDデータに対する感度を定量的に評価する。
- 参考スコア（独自算出の注目度）: 13.857939196296742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized federated learning (PFL) reduces the impact of non-independent
and identically distributed (non-IID) data among clients by allowing each
client to train a personalized model when collaborating with others. A key
question in PFL is to decide which parameters of a client should be localized
or shared with others. In current mainstream approaches, all layers that are
sensitive to non-IID data (such as classifier layers) are generally
personalized. The reasoning behind this approach is understandable, as
localizing parameters that are easily influenced by non-IID data can prevent
the potential negative effect of collaboration. However, we believe that this
approach is too conservative for collaboration. For example, for a certain
client, even if its parameters are easily influenced by non-IID data, it can
still benefit by sharing these parameters with clients having similar data
distribution. This observation emphasizes the importance of considering not
only the sensitivity to non-IID data but also the similarity of data
distribution when determining which parameters should be localized in PFL. This
paper introduces a novel guideline for client collaboration in PFL. Unlike
existing approaches that prohibit all collaboration of sensitive parameters,
our guideline allows clients to share more parameters with others, leading to
improved model performance. Additionally, we propose a new PFL method named
FedCAC, which employs a quantitative metric to evaluate each parameter's
sensitivity to non-IID data and carefully selects collaborators based on this
evaluation. Experimental results demonstrate that FedCAC enables clients to
share more parameters with others, resulting in superior performance compared
to state-of-the-art methods, particularly in scenarios where clients have
diverse distributions.
- Abstract（参考訳）: パーソナライズされた連合学習(pfl)は、クライアント間のコラボレーション時に各クライアントがパーソナライズされたモデルをトレーニングできるようにすることで、クライアント間の非独立かつ同一の分散(非iid)データの影響を低減する。
PFLの重要な質問は、クライアントのどのパラメータをローカライズするか、他の人と共有すべきかを決めることである。
現在の主流のアプローチでは、非IIDデータ(分類器層など)に敏感なすべてのレイヤは一般的にパーソナライズされる。
非IIDデータの影響を受けやすいパラメータをローカライズすることで、コラボレーションの潜在的な負の効果を防止できるため、このアプローチの背後にある理由が理解できる。
しかし、このアプローチはコラボレーションには保守的すぎると信じています。
例えば、あるクライアントでは、パラメーターが非iidデータに影響を受けやすいとしても、同様のデータ分散を持つクライアントとパラメータを共有することでメリットを享受できる。
この観察は、非IIDデータに対する感度だけでなく、PFLでどのパラメータをローカライズすべきかを決定する際のデータ分布の類似性も考慮することの重要性を強調している。
本稿では,PFLにおけるクライアントコラボレーションのための新しいガイドラインを紹介する。
センシティブなパラメータのすべてのコラボレーションを禁止する既存のアプローチとは異なり、当社のガイドラインでは、クライアントが他のパラメータとより多くのパラメータを共有できるため、モデルパフォーマンスが向上しています。
さらに,FedCACと呼ばれる新しいPFL手法を提案し,パラメータの非IIDデータに対する感度を定量的に評価し,この評価に基づいて協調者を慎重に選択する。
実験の結果、feedcacは、クライアントが他のクライアントとより多くのパラメータを共有できることが示され、その結果、最先端のメソッド、特にクライアントが多様なディストリビューションを持つシナリオよりも優れたパフォーマンスが得られる。
関連論文リスト
- Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。
我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
論文 参考訳（メタデータ） (2024-09-30T14:31:19Z) - The Diversity Bonus: Learning from Dissimilar Distributed Clients in Personalized Federated Learning [20.3260485904085]
そこで我々は,各クライアントが多種多様なデータ分布を持つクライアントから学習できるDiversiFedを提案する。
DiversiFedは異種クライアントの恩恵を受けることができ、したがって最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-07-22T08:24:45Z) - Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition [26.218506124446826]
パーソナライズド・フェデレーション・ラーニング(Personalized Federated Learning)の主な戦略は、一般的な知識(クライアント間で共有される)とクライアント固有の知識を分離することである。
この問題に対処するためにパラメータ分解加算を用いた単純だが効果的なPFLパラダイムであるFedDecompを紹介する。
複数のデータセットにまたがる実験結果は、FedDecompが最先端のメソッドを最大4.9%上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-28T14:01:22Z) - Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。
FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。
CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文 参考訳（メタデータ） (2023-12-23T03:31:46Z) - DCFL: Non-IID awareness Data Condensation aided Federated Learning [0.8158530638728501]
フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。
問題は、クライアントサイドのプライベートデータが同一かつ独立して分散されないという事実にある。
本稿では、CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し、IID非認識のデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
論文 参考訳（メタデータ） (2023-12-21T13:04:24Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。