論文の概要: Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity

• arxiv url: http://arxiv.org/abs/2405.20589v1
• Date: Fri, 31 May 2024 02:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:46:08.094993
• Title: Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity
• Title（参考訳）: 容量不均一性を考慮した個人化フェデレーション学習のための選択的知識共有
• Authors: Zheng Wang, Zheng Wang, Zhaopeng Peng, Zihui Wang, Cheng Wang,
• Abstract要約: Pa3dFLは、容量不均一なモデル間で知識を分離し、選択的に共有することで、局所モデルの性能を向上させるために設計された新しいフレームワークである。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 12.333226301343029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) stands to gain significant advantages from collaboratively training capacity-heterogeneous models, enabling the utilization of private data and computing power from low-capacity devices. However, the focus on personalizing capacity-heterogeneous models based on client-specific data has been limited, resulting in suboptimal local model utility, particularly for low-capacity clients. The heterogeneity in both data and device capacity poses two key challenges for model personalization: 1) accurately retaining necessary knowledge embedded within reduced submodels for each client, and 2) effectively sharing knowledge through aggregating size-varying parameters. To this end, we introduce Pa3dFL, a novel framework designed to enhance local model performance by decoupling and selectively sharing knowledge among capacity-heterogeneous models. First, we decompose each layer of the model into general and personal parameters. Then, we maintain uniform sizes for the general parameters across clients and aggregate them through direct averaging. Subsequently, we employ a hyper-network to generate size-varying personal parameters for clients using learnable embeddings. Finally, we facilitate the implicit aggregation of personal parameters by aggregating client embeddings through a self-attention module. We conducted extensive experiments on three datasets to evaluate the effectiveness of Pa3dFL. Our findings indicate that Pa3dFL consistently outperforms baseline methods across various heterogeneity settings. Moreover, Pa3dFL demonstrates competitive communication and computation efficiency compared to baseline approaches, highlighting its practicality and adaptability in adverse system conditions.
• Abstract（参考訳）: フェデレートラーニング(FL)は、容量不均一なモデルを協調的にトレーニングすることで、低容量デバイスからのプライベートデータとコンピューティングパワーの利用を可能にし、大きな利点を得ることができる。 しかし、クライアント固有のデータに基づくキャパシティ・ヘテロジニアスモデルのパーソナライズに焦点が当てられ、特に低キャパシティ・クライアントにおいて、最適なローカル・モデル・ユーティリティが実現されている。 データとデバイスのキャパシティの両面での不均一性は、モデルパーソナライゼーションに2つの大きな課題をもたらします。 1)各クライアントの縮小サブモデルに埋め込まれた必要な知識を正確に保持し、 2) 大きさの異なるパラメータを集約することで知識を効果的に共有する。 この目的のために我々は,容量不均一なモデル間で知識を疎結合し,選択的に共有することで,局所モデル性能を向上させる新しいフレームワークPa3dFLを紹介した。 まず,モデルの各層を一般パラメータと個人パラメータに分解する。 そして、クライアント間の一般パラメータの均一なサイズを維持し、それらを直接平均化によって集約する。 その後、学習可能な埋め込みを用いて、クライアントのサイズが変化する個人パラメータを生成するために、ハイパーネットワークを利用する。 最後に、自己認識モジュールを通じてクライアント埋め込みを集約することで、個人パラメータの暗黙的な集約を容易にする。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。 以上の結果から,Pa3dFLは多種多様な異種性設定のベースライン法より一貫して優れていたことが示唆された。 さらに、Pa3dFLは、ベースラインアプローチと比較して、競争力のある通信と計算効率を示し、その実用性と、悪条件下での適応性を強調している。

関連論文リスト

• Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
  フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。 適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。 広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-19T11:32:39Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
  我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。 我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
  論文  参考訳（メタデータ） (2024-04-15T14:14:05Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning [8.420943739336067]
  統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。 本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。 数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
  論文  参考訳（メタデータ） (2021-07-29T10:55:45Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。