論文の概要: PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2502.00354v1
- Date: Sat, 01 Feb 2025 07:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:04:50.581224
- Title: PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning
- Title（参考訳）: PM-MOE:個人化フェデレーション学習のための個人モデルパラメータに関するエキスパートの混合
- Authors: Yu Feng, Yangli-ao Geng, Yifan Zhu, Zongfu Han, Xie Yu, Kaiwen Xue, Haoran Luo, Mengyang Sun, Guangwei Zhang, Meina Song,
- Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。
パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することで、この問題に対処する。
本稿では、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせたPM-MoEアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 14.681194790227085
- License:
- Abstract: Federated learning (FL) has gained widespread attention for its privacy-preserving and collaborative learning capabilities. Due to significant statistical heterogeneity, traditional FL struggles to generalize a shared model across diverse data domains. Personalized federated learning addresses this issue by dividing the model into a globally shared part and a locally private part, with the local model correcting representation biases introduced by the global model. Nevertheless, locally converged parameters more accurately capture domain-specific knowledge, and current methods overlook the potential benefits of these parameters. To address these limitations, we propose PM-MoE architecture. This architecture integrates a mixture of personalized modules and an energy-based personalized modules denoising, enabling each client to select beneficial personalized parameters from other clients. We applied the PM-MoE architecture to nine recent model-split-based personalized federated learning algorithms, achieving performance improvements with minimal additional training. Extensive experiments on six widely adopted datasets and two heterogeneity settings validate the effectiveness of our approach. The source code is available at \url{https://github.com/dannis97500/PM-MOE}.
- Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。
統計的に有意な異質性のため、従来のFLは多様なデータ領域にまたがる共有モデルの一般化に苦慮している。
パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することでこの問題に対処する。
それでも、局所収束パラメータはドメイン固有の知識をより正確に捉え、現在のメソッドはこれらのパラメータの潜在的な利点を見落としている。
これらの制約に対処するため,PM-MoEアーキテクチャを提案する。
このアーキテクチャは、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせており、各クライアントは他のクライアントからパーソナライズされたパラメータを選択できる。
我々はPM-MoEアーキテクチャを9つのモデル分割型パーソナライズド・フェデレーション学習アルゴリズムに適用し、最小限のトレーニングで性能改善を実現した。
広く採用されている6つのデータセットと2つの不均一性設定に関する大規模な実験により、我々のアプローチの有効性が検証された。
ソースコードは \url{https://github.com/dannis97500/PM-MOE} で入手できる。
関連論文リスト
- FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。
広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。
本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
論文 参考訳（メタデータ） (2024-11-04T05:44:28Z) - Personalized Federated Learning via Stacking [0.0]
本稿では、クライアントが相互にプライバシ保護モデルを直接送信し、ベースモデルとして使用し、プライベートデータ上でメタモデルをトレーニングする、階層化された一般化に基づく新しいパーソナライズ手法を提案する。
当社のアプローチは柔軟で、さまざまなプライバシ保護技術やモデルタイプを調整し、水平、ハイブリッド、垂直に分割されたフェデレーションに適用できます。
論文 参考訳（メタデータ） (2024-04-16T23:47:23Z) - MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Specialized federated learning using a mixture of experts [0.6974741712647655]
連合学習では、クライアントは分散化されたローカルクライアントデータに基づいてトレーニングされたグローバルモデルを共有する。
フェデレートされた設定で各クライアントのパーソナライズされたモデルを学習するための代替手法を提案する。
以上の結果から,これらの設定におけるデバイスに対するパーソナライズされたモデルとして,エキスパートモデルの混合が適していることが明らかとなった。
論文 参考訳（メタデータ） (2020-10-05T14:43:57Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。