論文の概要: Fairness in Federated Learning via Core-Stability
- arxiv url: http://arxiv.org/abs/2211.02091v1
- Date: Thu, 3 Nov 2022 18:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 17:30:07.732066
- Title: Fairness in Federated Learning via Core-Stability
- Title(参考訳): コアスタビリティによるフェデレーション学習の公正性
- Authors: Bhaskar Ray Chaudhury, Linyi Li, Mintong Kang, Bo Li, Ruta Mehta
- Abstract要約: フェデレートラーニングは、リッチな分散データから恩恵を受けるモデルを共同で最適化する効果的なパラダイムを提供する。
高品質なデータを持つエージェントが、低品質なデータを持つ他のエージェントによってパフォーマンスを犠牲にするのは、直感的に“不公平”である。
コア安定予測器を最適化する効率的なフェデレート学習プロトコルCoreFedを提案する。
- 参考スコア(独自算出の注目度): 16.340526776021143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning provides an effective paradigm to jointly optimize a model
benefited from rich distributed data while protecting data privacy.
Nonetheless, the heterogeneity nature of distributed data makes it challenging
to define and ensure fairness among local agents. For instance, it is
intuitively "unfair" for agents with data of high quality to sacrifice their
performance due to other agents with low quality data. Currently popular
egalitarian and weighted equity-based fairness measures suffer from the
aforementioned pitfall. In this work, we aim to formally represent this problem
and address these fairness issues using concepts from co-operative game theory
and social choice theory. We model the task of learning a shared predictor in
the federated setting as a fair public decision making problem, and then define
the notion of core-stable fairness: Given $N$ agents, there is no subset of
agents $S$ that can benefit significantly by forming a coalition among
themselves based on their utilities $U_N$ and $U_S$ (i.e., $\frac{|S|}{N} U_S
\geq U_N$). Core-stable predictors are robust to low quality local data from
some agents, and additionally they satisfy Proportionality and
Pareto-optimality, two well sought-after fairness and efficiency notions within
social choice. We then propose an efficient federated learning protocol CoreFed
to optimize a core stable predictor. CoreFed determines a core-stable predictor
when the loss functions of the agents are convex. CoreFed also determines
approximate core-stable predictors when the loss functions are not convex, like
smooth neural networks. We further show the existence of core-stable predictors
in more general settings using Kakutani's fixed point theorem. Finally, we
empirically validate our analysis on two real-world datasets, and we show that
CoreFed achieves higher core-stability fairness than FedAvg while having
similar accuracy.
- Abstract(参考訳): フェデレーション学習は、データプライバシを保護しながら、リッチな分散データから恩恵を受けるモデルを共同で最適化する効果的なパラダイムを提供する。
それでも、分散データの多様性は、ローカルエージェント間の公平性の定義と保証を困難にしている。
例えば、品質の低い他のエージェントがパフォーマンスを犠牲にするため、品質の高いデータを持つエージェントは直感的に「不公平」である。
現在人気の平等主義的かつ重み付けされた株式ベースの公正な措置は、前述の落とし穴に苦しむ。
本研究では,協調ゲーム理論と社会的選択理論の概念を用いて,この問題を形式的に表現し,公平性の問題に対処することを目的とする。
フェデレートされた設定における共有予測器を公正な公開意思決定問題として学習するタスクをモデル化し、コア安定公正の概念を定義する。$N$エージェントが与えられたとき、それらのユーティリティ(例えば$\frac{|S|}{N} U_S \geq U_N$)に基づいて、互いに連立関係を形成することで大きな利益をもたらすエージェントのサブセットは、$S$が存在しない。
コア安定予測器は、一部のエージェントによる低品質なローカルデータに対して堅牢であり、また、社会的選択における2つの好意的公正性と効率性の概念である確率性とパレート最適性を満たす。
次に、コア安定予測器を最適化する効率的なフェデレート学習プロトコルCoreFedを提案する。
CoreFedはエージェントの損失関数が凸であるときにコア安定予測器を決定する。
CoreFedは、スムーズなニューラルネットワークのように損失関数が凸でない場合、およそコア安定予測器も決定する。
さらに、角谷の不動点定理を用いたより一般的な設定におけるコア安定予測器の存在を示す。
最後に,2つの実世界のデータセットに対する分析を実証的に検証し,CoreFedがFedAvgよりも高いコア安定性のフェアネスを達成できることを示す。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Understanding Fairness Surrogate Functions in Algorithmic Fairness [21.555040357521907]
フェアネスの定義とフェアネスのサロゲート関数の間には、サロゲートとフェアネスのギャップがあることが示される。
我々は、不公平を緩和するギャップを反復的に減少させる「バランスド・サロゲート」という、新規で一般的なアルゴリズムを精査する。
論文 参考訳(メタデータ) (2023-10-17T12:40:53Z) - RobustFair: Adversarial Evaluation through Fairness Confusion Directed
Gradient Search [8.278129731168127]
ディープニューラルネットワーク(DNN)は、様々な敵の摂動に対する脆弱性のため、しばしば課題に直面している。
本稿では, 偽りや偏りのある摂動を受ける場合のDNNの正確な公平性を評価するための新しいアプローチであるRobustFairを紹介する。
論文 参考訳(メタデータ) (2023-05-18T12:07:29Z) - Fairness through Aleatoric Uncertainty [18.95295731419523]
フェアネス・ユーティリティ・トレードオフを改善するために、アレタリック不確実性(例えば、データのあいまいさ)を活用するという考え方を紹介します。
我々の中心的な仮説は、アレタリック不確実性はアルゴリズムの公正性の鍵となる要素であるということである。
次に,アレータリック不確実性が高い場合の公平性を向上し,他の分野での有効性を向上させるための基本モデルを提案する。
論文 参考訳(メタデータ) (2023-04-07T13:50:57Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳(メタデータ) (2023-03-06T17:19:23Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Measuring Model Fairness under Noisy Covariates: A Theoretical
Perspective [26.704446184314506]
本研究では,雑音情報に基づく機械学習モデルの公平性の測定問題について検討する。
本稿では, 精度の高い公平性評価が可能な弱い条件を特徴付けることを目的とした理論的解析を行う。
論文 参考訳(メタデータ) (2021-05-20T18:36:28Z) - Learning Strategies in Decentralized Matching Markets under Uncertain
Preferences [91.3755431537592]
エージェントの選好が不明な場合,共有資源の不足の設定における意思決定の問題について検討する。
我々のアプローチは、再生されたカーネルヒルベルト空間における好みの表現に基づいている。
エージェントの期待した利益を最大化する最適な戦略を導出する。
論文 参考訳(メタデータ) (2020-10-29T03:08:22Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。