論文の概要: pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2409.05701v1
• Date: Mon, 9 Sep 2024 15:13:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:06:46.376885
• Title: pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning
• Title（参考訳）: pFedGPA:個人化フェデレーション学習のための拡散に基づく生成パラメータ集約
• Authors: Jiahao Lai, Jiaqi Li, Jian Xu, Yanru Wu, Boshi Tang, Siqi Chen, Yongfeng Huang, Wenbo Ding, Yang Li,
• Abstract要約: フェデレートラーニング(FL)は、データをローカルに保持し、モデルパラメータのみをクライアントと中央サーバ間で共有する、モデルトレーニングのための分散アプローチを提供する。 フェデレート平均化(FedAvg)のような従来の手法は、これらのパラメータを線形に集約する。 パーソナライズされたFL, textttpFedGPAのための新しい生成パラメータ集約フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.43592558078981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) offers a decentralized approach to model training, where data remains local and only model parameters are shared between the clients and the central server. Traditional methods, such as Federated Averaging (FedAvg), linearly aggregate these parameters which are usually trained on heterogeneous data distributions, potentially overlooking the complex, high-dimensional nature of the parameter space. This can result in degraded performance of the aggregated model. While personalized FL approaches can mitigate the heterogeneous data issue to some extent, the limitation of linear aggregation remains unresolved. To alleviate this issue, we investigate the generative approach of diffusion model and propose a novel generative parameter aggregation framework for personalized FL, \texttt{pFedGPA}. In this framework, we deploy a diffusion model on the server to integrate the diverse parameter distributions and propose a parameter inversion method to efficiently generate a set of personalized parameters for each client. This inversion method transforms the uploaded parameters into a latent code, which is then aggregated through denoising sampling to produce the final personalized parameters. By encoding the dependence of a client's model parameters on the specific data distribution using the high-capacity diffusion model, \texttt{pFedGPA} can effectively decouple the complexity of the overall distribution of all clients' model parameters from the complexity of each individual client's parameter distribution. Our experimental results consistently demonstrate the superior performance of the proposed method across multiple datasets, surpassing baseline approaches.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データをローカルに保持し、モデルパラメータのみをクライアントと中央サーバ間で共有する、モデルトレーニングのための分散アプローチを提供する。 フェデレート平均化(FedAvg)のような伝統的な手法は、これらのパラメータを線形に集約し、通常不均一なデータ分布に基づいて訓練され、パラメータ空間の複雑な高次元の性質を見渡す可能性がある。 これにより、集約されたモデルの性能が低下する可能性がある。 パーソナライズされたFLアプローチは、不均一なデータ問題をある程度緩和することができるが、線形集約の制限は未解決のままである。 この問題を緩和するために,拡散モデルの生成的アプローチを調査し,パーソナライズされたFL, \texttt{pFedGPA} のための新しい生成的パラメータ集約フレームワークを提案する。 本フレームワークでは,サーバ上に拡散モデルを構築し,多様なパラメータ分布を統合するとともに,各クライアントのパーソナライズされたパラメータの集合を効率的に生成するパラメータ逆変換法を提案する。 この反転法は、アップロードされたパラメータを潜在コードに変換し、最後にパーソナライズされたパラメータを生成するためにサンプリングをデノナイズすることで集約する。 高容量拡散モデルを用いて、クライアントのモデルパラメータの特定のデータ分布への依存性を符号化することにより、各クライアントのパラメータ分布の複雑さから、すべてのクライアントのモデルパラメータの全体分布の複雑さを効果的に分離することができる。 実験結果は,提案手法が複数のデータセットにまたがる優れた性能を示し,ベースラインアプローチを超越した結果となった。

関連論文リスト

• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 クライアントとサーバ間で転送されるモデル更新にアクセスすることが可能で、敵に機密性の高いローカル情報を公開する可能性がある。 微分プライバシー(DP)は、パラメータにノイズを加えることでこの問題に対処するための有望なアプローチを提供する。 本稿では、クライアントの相対的影響要因に基づいてノイズを注入し、パラメータを集約するパーソナライズされたDPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:55:07Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout [13.056472977860976]
  フェデレートラーニング(FL)では、頻繁にモデルパラメータを交換する必要があるため、長い通信遅延が発生する。 差分パラメータDropout (FedDD) を用いたフェデレーション学習手法を提案する。 FedDDは2つの主要なモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-08-31T16:10:22Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Personalized Federated Learning via Convex Clustering [72.15857783681658]
  本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。 提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
  論文  参考訳（メタデータ） (2022-02-01T19:25:31Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
  フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。 現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。 本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。