論文の概要: FedMCSA: Personalized Federated Learning via Model Components Self-Attention

• arxiv url: http://arxiv.org/abs/2208.10731v1
• Date: Tue, 23 Aug 2022 04:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 13:30:16.403125
• Title: FedMCSA: Personalized Federated Learning via Model Components Self-Attention
• Title（参考訳）: FedMCSA: モデルコンポーネントによる個人化フェデレーション学習
• Authors: Qi Guo, Yong Qi, Saiyu Qi, Di Wu and Qian Li
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、機械学習モデルを共同でトレーニングすることを可能にする。 既存のパーソナライズされたFLアプローチは、基本単位としての1つの完全モデルのデフォルト処理に大きく依存している。 FLにおける非IIDデータを扱うための新しいフレームワークであるフェデレートモデルコンポーネント自己アテンション(FedMCSA)を提案する。
• 参考スコア（独自算出の注目度）: 10.389769895387962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) facilitates multiple clients to jointly train a machine learning model without sharing their private data. However, Non-IID data of clients presents a tough challenge for FL. Existing personalized FL approaches rely heavily on the default treatment of one complete model as a basic unit and ignore the significance of different layers on Non-IID data of clients. In this work, we propose a new framework, federated model components self-attention (FedMCSA), to handle Non-IID data in FL, which employs model components self-attention mechanism to granularly promote cooperation between different clients. This mechanism facilitates collaboration between similar model components while reducing interference between model components with large differences. We conduct extensive experiments to demonstrate that FedMCSA outperforms the previous methods on four benchmark datasets. Furthermore, we empirically show the effectiveness of the model components self-attention mechanism, which is complementary to existing personalized FL and can significantly improve the performance of FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、機械学習モデルを共同でトレーニングすることを可能にする。 しかし、クライアントの非IIDデータはFLにとって難しい課題である。 既存のパーソナライズされたFLアプローチは、1つの完全モデルの既定処理を基本単位として、クライアントの非IIDデータ上の異なるレイヤの重要性を無視している。 本研究では,fedmcsa(federated model components self-attention)という新しいフレームワークを提案する。fedmcsa(federated model components self-attention)はflにおける非iidデータを処理する。 このメカニズムは、モデルコンポーネント間の干渉を大幅に減らしながら、類似のモデルコンポーネント間の協調を促進する。 我々は、FedMCSAが4つのベンチマークデータセットで以前の手法より優れていることを示すための広範な実験を行った。 さらに、既存のパーソナライズされたFLを補完し、FLの性能を大幅に向上させるモデルコンポーネント自己保持機構の有効性を実証的に示す。

関連論文リスト

• FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
  Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。 広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。 本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:44:28Z)
• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Federated Learning from Pre-Trained Models: A Contrastive Learning Approach [43.893267526525904]
  Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。 過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。 本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T03:16:57Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• Personalised Federated Learning: A Combinational Approach [10.204907134342637]
  Federated Learning(FL)は、複数のクライアントが共同で共有モデルをトレーニングする分散機械学習アプローチである。 FLでは、差分プライバシ(DP)やロバストアグリゲーション(RA)などのプライバシーと整合性保護機能が一般的に使用されている。 本研究では,一般的なディープラーニングタスクにおいて,FLモデルの性能がクライアントや状況によって異なることを示す。
  論文  参考訳（メタデータ） (2021-08-22T02:11:20Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。