論文の概要: Demystifying Local and Global Fairness Trade-offs in Federated Learning
Using Partial Information Decomposition
- arxiv url: http://arxiv.org/abs/2307.11333v1
- Date: Fri, 21 Jul 2023 03:41:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:54:09.291681
- Title: Demystifying Local and Global Fairness Trade-offs in Federated Learning
Using Partial Information Decomposition
- Title（参考訳）: 部分的情報分解を用いたフェデレーション学習における地域・グローバルフェアネストレードオフのデミステレーション
- Authors: Faisal Hamman, Sanghamitra Dutta
- Abstract要約: 既存の作業は主に、トレードオフを常に考慮せずに、Emphglobal Fairness(すべてのクライアントにわたるモデルの相違)またはemphlocal Fairness(各クライアントにおけるモデルの相違)に重点を置いています。
我々は、まず、フェデレートラーニングにおける不公平な3つの要因を識別する部分情報分解(PID)と呼ばれる情報理論における仕事の本体を活用する。
標準的な例を用いて、これらの3つの相違がグローバルおよびローカルフェアネスにどのように貢献するかを示す。
- 参考スコア（独自算出の注目度）: 12.955021451577418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present an information-theoretic perspective to group
fairness trade-offs in federated learning (FL) with respect to sensitive
attributes, such as gender, race, etc. Existing works mostly focus on either
\emph{global fairness} (overall disparity of the model across all clients) or
\emph{local fairness} (disparity of the model at each individual client),
without always considering their trade-offs. There is a lack of understanding
of the interplay between global and local fairness in FL, and if and when one
implies the other. To address this gap, we leverage a body of work in
information theory called partial information decomposition (PID) which first
identifies three sources of unfairness in FL, namely, \emph{Unique Disparity},
\emph{Redundant Disparity}, and \emph{Masked Disparity}. Using canonical
examples, we demonstrate how these three disparities contribute to global and
local fairness. This decomposition helps us derive fundamental limits and
trade-offs between global or local fairness, particularly under data
heterogeneity, as well as, derive conditions under which one implies the other.
We also present experimental results on benchmark datasets to support our
theoretical findings. This work offers a more nuanced understanding of the
sources of disparity in FL that can inform the use of local disparity
mitigation techniques, and their convergence and effectiveness when deployed in
practice.
- Abstract（参考訳）: 本稿では,フェデレーション学習(FL)におけるグループフェアネスのトレードオフに対する情報理論的視点を,性別や人種などのセンシティブな属性に対して提示する。
既存の作業は、トレードオフを常に考慮せずに、主に \emph{global fairness} (すべてのクライアントでモデルが異なる) または \emph{local fairness} (各クライアントでモデルが異なる) のいずれかに焦点を当てています。
FLにおけるグローバル・フェアネスとローカル・フェアネスの相互作用の理解の欠如と、一方が他方を暗示しているかどうかの理解の欠如がある。
このギャップに対処するために、情報理論における部分的情報分解(PID)という、まずFLにおける不公平な3つの源、すなわち \emph{Unique Disparity} 、 \emph{Redundant Disparity} 、 \emph{Masked Disparity} の同定を行う。
標準的な例を用いて、これらの3つの相違がグローバルおよびローカルフェアネスにどのように貢献するかを示す。
この分解は、大域的あるいは局所的な公平性、特にデータの不均質性の下での基本的な限界とトレードオフを導出し、一方が他方を意味する条件を導出するのに役立つ。
また,ベンチマークデータセットについて実験結果を示し,理論的な知見を裏付ける。
この研究は、FLにおける格差の源泉をより微妙に理解し、局所的な格差緩和技術の使用と、実際に展開する際の収束と効果を知らせる。
関連論文リスト
- WassFFed: Wasserstein Fair Federated Learning [31.135784690264888]
Federated Learning (FL)は、ユーザのデータをクライアント間で共有できないシナリオに対処するためのトレーニングアプローチを採用している。
本稿では,Wasserstein Fair Federated Learningフレームワーク,すなわちWassFFedを提案する。
論文 参考訳（メタデータ） (2024-11-11T11:26:22Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Federated Fairness Analytics: Quantifying Fairness in Federated Learning [2.9674793945631097]
Federated Learning(FL)は、分散MLのためのプライバシ強化技術である。
FLは古典的なMLから公平性の問題を受け継ぎ、新しいものを導入している。
公正度を測定するための方法論であるフェデレートフェアネス分析を提案する。
論文 参考訳（メタデータ） (2024-08-15T15:23:32Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - GLOCALFAIR: Jointly Improving Global and Local Group Fairness in Federated Learning [8.033939709734451]
フェデレートラーニング(FL)は、データプライバシを犠牲にすることなく、クライアント間で共有モデルを共同で学習するための、将来的なソリューションとして登場した。
FLは、データの不均一性やパーティーの選択など、固有のFL特性のために、特定の人口集団に対してバイアスを受ける傾向にある。
クライアントのプライベートデータセットに関する詳細な統計を必要とせずに,グローバルおよびローカルグループフェアネスを改善するクライアントサーバのコードサインであるGFAIRを提案する。
論文 参考訳（メタデータ） (2024-01-07T18:10:14Z) - Multi-dimensional Fair Federated Learning [25.07463977553212]
フェデレートラーニング(FL)は、分散データからモデルをトレーニングするための、有望な協調的でセキュアなパラダイムとして登場した。
群フェアネスとクライアントフェアネスは、FLにとって重要である2次元のフェアネスである。
グループフェアネスとクライアントフェアネスを同時に達成するために,mFairFLと呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2023-12-09T11:37:30Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - FOCUS: Fairness via Agent-Awareness for Federated Learning on
Heterogeneous Data [31.611582207768464]
フェデレートラーニング(FL)は、エージェントがローカルデータを共有せずにグローバルモデルを共同でトレーニングすることを可能にする。
本稿では,異種エージェントの貢献を考慮に入れた,FLフェアネスの正式な定義,エージェント認識によるフェアネス(fairness)を提案する。
また,エージェントクラスタリング(FOCUS)に基づく公正なFLトレーニングアルゴリズムを提案し,FAAが測定したFLの公平性を実現する。
論文 参考訳（メタデータ） (2022-07-21T02:21:03Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。