論文の概要: Demystifying Local and Global Fairness Trade-offs in Federated Learning
Using Partial Information Decomposition
- arxiv url: http://arxiv.org/abs/2307.11333v2
- Date: Mon, 4 Mar 2024 22:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:11:08.170850
- Title: Demystifying Local and Global Fairness Trade-offs in Federated Learning
Using Partial Information Decomposition
- Title（参考訳）: 部分的情報分解を用いたフェデレーション学習における地域・グローバルフェアネストレードオフのデミステレーション
- Authors: Faisal Hamman, Sanghamitra Dutta
- Abstract要約: 本研究は,フェデレートラーニング(FL)におけるグループフェアネストレードオフに対する情報理論的視点を示す。
FLでは、$textitUnique Disparity$, $textitRedundant Disparity$, $textitMasked Disparity$という、不公平な3つのソースを特定します。
グローバル・フェアネスとローカル・フェアネスのトレードオフに関する根本的な制限を導き、彼らが同意するか、意見が一致しないかを強調します。
- 参考スコア（独自算出の注目度）: 7.918307236588161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents an information-theoretic perspective to group fairness
trade-offs in federated learning (FL) with respect to sensitive attributes,
such as gender, race, etc. Existing works often focus on either $\textit{global
fairness}$ (overall disparity of the model across all clients) or
$\textit{local fairness}$ (disparity of the model at each client), without
always considering their trade-offs. There is a lack of understanding regarding
the interplay between global and local fairness in FL, particularly under data
heterogeneity, and if and when one implies the other. To address this gap, we
leverage a body of work in information theory called partial information
decomposition (PID), which first identifies three sources of unfairness in FL,
namely, $\textit{Unique Disparity}$, $\textit{Redundant Disparity}$, and
$\textit{Masked Disparity}$. We demonstrate how these three disparities
contribute to global and local fairness using canonical examples. This
decomposition helps us derive fundamental limits on the trade-off between
global and local fairness, highlighting where they agree or disagree. We
introduce the $\textit{Accuracy and Global-Local Fairness Optimality Problem
(AGLFOP)}$, a convex optimization that defines the theoretical limits of
accuracy and fairness trade-offs, identifying the best possible performance any
FL strategy can attain given a dataset and client distribution. We also present
experimental results on synthetic datasets and the ADULT dataset to support our
theoretical findings.
- Abstract（参考訳）: 本研究は,フェデレートラーニング(FL)におけるグループフェアネストレードオフに対する情報理論的視点を,性別や人種などのセンシティブな属性に対して提示する。
既存の作業は、トレードオフを常に考慮することなく、しばしば$\textit{global fairness}$(すべてのクライアントでモデルが異なる)または$\textit{local fairness}$(各クライアントでモデルが異なる)のいずれかに焦点を当てます。
flにおけるグローバル・フェアネスとローカル・フェアネスの相互作用、特にデータ・ヘテロゲニティの下での理解が不足している。
このギャップに対処するために、情報理論における部分的情報分解(PID)と呼ばれる仕事の本体を活用し、FLにおける不公平な3つの源、すなわち$\textit{Unique Disparity}$、$\textit{Redundant Disparity}$、$\textit{Masked Disparity}$を最初に識別する。
これら3つの相違点が、カノニカルな例を用いて、グローバルとローカルの公平性にどのように寄与するかを実証する。
この分解は、グローバルとローカルのフェアネスのトレードオフに関する基本的な制限を導き出すのに役立ちます。
我々は、$\textit{Accuracy and Global-Local Fairness Optimality Problem (AGLFOP)}$を導入し、精度と公平性のトレードオフの理論的限界を定義する凸最適化を行い、FL戦略がデータセットとクライアント分布を付与できる最高のパフォーマンスを特定する。
また, 合成データセットとADULTデータセットについて, 理論的知見を裏付ける実験結果を示した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - GLOCALFAIR: Jointly Improving Global and Local Group Fairness in
Federated Learning [8.77650197859131]
フェデレートラーニング(FL)は、データプライバシを犠牲にすることなく、クライアント間で共有モデルを共同で学習するための、将来的なソリューションとして登場した。
FLは、データの不均一性やパーティーの選択など、固有のFL特性のために、特定の人口集団に対してバイアスを受ける傾向にある。
クライアントのプライベートデータセットに関する詳細な統計を必要とせずに,グローバルおよびローカルグループフェアネスを改善するクライアントサーバのコードサインであるGFAIRを提案する。
論文 参考訳（メタデータ） (2024-01-07T18:10:14Z) - Multi-dimensional Fair Federated Learning [25.07463977553212]
フェデレートラーニング(FL)は、分散データからモデルをトレーニングするための、有望な協調的でセキュアなパラダイムとして登場した。
群フェアネスとクライアントフェアネスは、FLにとって重要である2次元のフェアネスである。
グループフェアネスとクライアントフェアネスを同時に達成するために,mFairFLと呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2023-12-09T11:37:30Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - FOCUS: Fairness via Agent-Awareness for Federated Learning on
Heterogeneous Data [31.611582207768464]
フェデレートラーニング(FL)は、エージェントがローカルデータを共有せずにグローバルモデルを共同でトレーニングすることを可能にする。
本稿では,異種エージェントの貢献を考慮に入れた,FLフェアネスの正式な定義,エージェント認識によるフェアネス(fairness)を提案する。
また,エージェントクラスタリング(FOCUS)に基づく公正なFLトレーニングアルゴリズムを提案し,FAAが測定したFLの公平性を実現する。
論文 参考訳（メタデータ） (2022-07-21T02:21:03Z) - How Robust is Your Fairness? Evaluating and Sustaining Fairness under
Unseen Distribution Shifts [107.72786199113183]
CUMA(CUrvature Matching)と呼ばれる新しいフェアネス学習手法を提案する。
CUMAは、未知の分布シフトを持つ未知の領域に一般化可能な頑健な公正性を達成する。
提案手法を3つの人気フェアネスデータセットで評価する。
論文 参考訳（メタデータ） (2022-07-04T02:37:50Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Proportional Fairness in Federated Learning [27.086313029073683]
PropFairは、フェデレート学習において、比例的に公平な解を見つけるための、新しく簡単に実装できるアルゴリズムである。
PropFairはおよそPFソリューションを見つけることができ、すべてのクライアントの平均的なパフォーマンスと最悪の10%のクライアントのバランスがとれることを実証します。
論文 参考訳（メタデータ） (2022-02-03T16:28:04Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-06T11:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。