論文の概要: Learning Heterogeneous Performance-Fairness Trade-offs in Federated Learning
- arxiv url: http://arxiv.org/abs/2504.21775v1
- Date: Wed, 30 Apr 2025 16:25:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 17:47:07.112512
- Title: Learning Heterogeneous Performance-Fairness Trade-offs in Federated Learning
- Title(参考訳): フェデレーションラーニングにおける不均一なパフォーマンス・フェアネストレードオフの学習
- Authors: Rongguang Ye, Ming Tang,
- Abstract要約: HetPFL は Preference Smpling Adaptation (PSA) と Preference-aware Hypernet Fusion (PHF) から構成される。
We prove that HetPFL converges to the number of rounds, under weaker assumptions than existing method。
- 参考スコア(独自算出の注目度): 6.6763659758988885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent methods leverage a hypernet to handle the performance-fairness trade-offs in federated learning. This hypernet maps the clients' preferences between model performance and fairness to preference-specifc models on the trade-off curve, known as local Pareto front. However, existing methods typically adopt a uniform preference sampling distribution to train the hypernet across clients, neglecting the inherent heterogeneity of their local Pareto fronts. Meanwhile, from the perspective of generalization, they do not consider the gap between local and global Pareto fronts on the global dataset. To address these limitations, we propose HetPFL to effectively learn both local and global Pareto fronts. HetPFL comprises Preference Sampling Adaptation (PSA) and Preference-aware Hypernet Fusion (PHF). PSA adaptively determines the optimal preference sampling distribution for each client to accommodate heterogeneous local Pareto fronts. While PHF performs preference-aware fusion of clients' hypernets to ensure the performance of the global Pareto front. We prove that HetPFL converges linearly with respect to the number of rounds, under weaker assumptions than existing methods. Extensive experiments on four datasets show that HetPFL significantly outperforms seven baselines in terms of the quality of learned local and global Pareto fronts.
- Abstract(参考訳): 最近の手法では、ハイパーネットを利用して、フェデレートラーニングにおけるパフォーマンス・フェアネスのトレードオフを処理している。
このハイパーネットは、モデル性能と公正性の間のクライアントの嗜好を、ローカルパレートフロントとして知られるトレードオフ曲線上の選好特化モデルにマッピングする。
しかし、既存の手法では、通常、クライアント間でハイパーネットをトレーニングするために一様に選好サンプリング分布を採用し、ローカルなParetoフロントの固有の不均一性を無視する。
一方、一般化の観点からは、グローバルデータセット上のローカルとグローバルのParetoフロント間のギャップを考慮していない。
これらの制約に対処するため、我々はHetPFLを提案し、ローカルおよびグローバルなParetoフロントの両方を効果的に学習する。
HetPFL は Preference Sampling Adaptation (PSA) と Preference-aware Hypernet Fusion (PHF) から構成される。
PSAは、不均一なローカルパレートフロントに対応するために、各クライアントに対して最適な選好サンプリング分布を適応的に決定する。
PHFはクライアントのハイパーネットを優先的に統合し、グローバルなParetoフロントの性能を保証する。
We prove that HetPFL converges to the number of rounds, under weaker assumptions than existing method。
4つのデータセットの大規模な実験により、HetPFLは学習されたローカルおよびグローバルなParetoフロントの品質において7つのベースラインを大きく上回っていることが示された。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳(メタデータ) (2025-01-17T04:00:50Z) - Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
本稿では,機械学習におけるマルチタスクトレードオフに対処するパラメータ効率の高い新しい手法PaLoRAを紹介する。
実験の結果、PaLoRAは様々なデータセットで最先端のMTLとPFLのベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2024-07-10T21:25:51Z) - Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。
我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-28T06:52:19Z) - FedLoGe: Joint Local and Generic Federated Learning under Long-tailed
Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。
本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2024-01-17T05:04:33Z) - Personalized Federated Learning via ADMM with Moreau Envelope [11.558467367982924]
モローエンベロープ(FLAME)を用いたPFLモデルの学習のための乗算器(ADMM)の交互方向法を提案する。
我々の理論的分析は、偏りのないクライアント選択戦略と偏りのないクライアント選択戦略の両方の下で、グローバル収束を確立する。
実験により、FLAMEは、異種データに基づいて訓練された場合、モデル性能の点で最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-12T07:13:37Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳(メタデータ) (2023-10-27T17:22:09Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。