論文の概要: Fair and Consistent Federated Learning
- arxiv url: http://arxiv.org/abs/2108.08435v1
- Date: Thu, 19 Aug 2021 01:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-20 14:25:36.059185
- Title: Fair and Consistent Federated Learning
- Title(参考訳): 公平で一貫した連合学習
- Authors: Sen Cui, Weishen Pan, Jian Liang, Changshui Zhang, Fei Wang
- Abstract要約: フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 48.19977689926562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has gain growing interests for its capability of
learning from distributed data sources collectively without the need of
accessing the raw data samples across different sources. So far FL research has
mostly focused on improving the performance, how the algorithmic disparity will
be impacted for the model learned from FL and the impact of algorithmic
disparity on the utility inconsistency are largely unexplored. In this paper,
we propose an FL framework to jointly consider performance consistency and
algorithmic fairness across different local clients (data sources). We derive
our framework from a constrained multi-objective optimization perspective, in
which we learn a model satisfying fairness constraints on all clients with
consistent performance. Specifically, we treat the algorithm prediction loss at
each local client as an objective and maximize the worst-performing client with
fairness constraints through optimizing a surrogate maximum function with all
objectives involved. A gradient-based procedure is employed to achieve the
Pareto optimality of this optimization problem. Theoretical analysis is
provided to prove that our method can converge to a Pareto solution that
achieves the min-max performance with fairness constraints on all clients.
Comprehensive experiments on synthetic and real-world datasets demonstrate the
superiority that our approach over baselines and its effectiveness in achieving
both fairness and consistency across all local clients.
- Abstract(参考訳): フェデレーション学習(fl)は、異なるソースにまたがる生データサンプルにアクセスすることなく、分散データソースから総合的に学習する能力に対する関心が高まっている。
FLのこれまでの研究は、パフォーマンスの向上、FLから学んだモデルに対するアルゴリズム的不一致の影響、実用的不整合に対するアルゴリズム的不一致の影響などに焦点を当ててきた。
本稿では,異なるローカルクライアント(データソース)間で性能の一貫性とアルゴリズム的公平性を検討するためのflフレームワークを提案する。
我々は制約付き多目的最適化の観点からフレームワークを導出し、一貫したパフォーマンスで全てのクライアントの公正性制約を満たすモデルを学ぶ。
具体的には、各ローカルクライアントにおけるアルゴリズム予測損失を目的として扱い、全ての目的を伴って代理最大関数を最適化することにより、フェアネス制約で最低性能のクライアントを最大化する。
この最適化問題のパレート最適性を達成するために勾配法を用いる。
理論解析により,全クライアントに公平性制約を課してmin-max性能を達成するparetoソリューションに収束できることが証明される。
合成および実世界のデータセットに関する総合的な実験は、我々のアプローチがベースラインよりも優れていること、および全てのローカルクライアントにおける公平性と一貫性を達成する上での有効性を示している。
関連論文リスト
- EFFL: Egalitarian Fairness in Federated Learning for Mitigating Matthew
Effect [11.24699174877316]
マシュー効果を緩和するために,平等フェアネスフェデレートラーニング(EFFL)を提案する。
EFFLはパフォーマンスの最適性を目指しており、各クライアントに対する経験的リスク損失とバイアスを最小限にしている。
EFFLは、高性能なグローバルモデルを実現する上で、他の最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-28T10:51:12Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-09-16T11:30:29Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning:
Approaching Global Consistency and Smooth Landscape [85.58750553923568]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳(メタデータ) (2023-05-19T10:47:44Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations [58.192338472631405]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - A Fair Federated Learning Framework With Reinforcement Learning [23.675056844328]
フェデレートラーニング(Federated Learning, FL)は、多くのクライアントが中央サーバの協調の下でモデルを協調的にトレーニングするパラダイムである。
本稿では,クライアントにアグリゲーション重み付けを割り当てるポリシを自動的に学習するPG-FFLという強化学習フレームワークを提案する。
フレームワークの有効性を検証するため、多様なデータセットに対して広範な実験を行う。
論文 参考訳(メタデータ) (2022-05-26T15:10:16Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - A Theoretical Perspective on Differentially Private Federated Multi-task
Learning [12.935153199667987]
プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。
本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。
このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
論文 参考訳(メタデータ) (2020-11-14T00:53:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。