論文の概要: Measuring Model Fairness under Noisy Covariates: A Theoretical
Perspective
- arxiv url: http://arxiv.org/abs/2105.09985v1
- Date: Thu, 20 May 2021 18:36:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-29 17:33:11.612998
- Title: Measuring Model Fairness under Noisy Covariates: A Theoretical
Perspective
- Title（参考訳）: 雑音条件下でのモデルフェアネスの測定:理論的展望
- Authors: Flavien Prost, Pranjal Awasthi, Nick Blumm, Aditee Kumthekar, Trevor
Potter, Li Wei, Xuezhi Wang, Ed H. Chi, Jilin Chen, Alex Beutel
- Abstract要約: 本研究では,雑音情報に基づく機械学習モデルの公平性の測定問題について検討する。
本稿では, 精度の高い公平性評価が可能な弱い条件を特徴付けることを目的とした理論的解析を行う。
- 参考スコア（独自算出の注目度）: 26.704446184314506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we study the problem of measuring the fairness of a machine
learning model under noisy information. Focusing on group fairness metrics, we
investigate the particular but common situation when the evaluation requires
controlling for the confounding effect of covariate variables. In a practical
setting, we might not be able to jointly observe the covariate and group
information, and a standard workaround is to then use proxies for one or more
of these variables. Prior works have demonstrated the challenges with using a
proxy for sensitive attributes, and strong independence assumptions are needed
to provide guarantees on the accuracy of the noisy estimates. In contrast, in
this work we study using a proxy for the covariate variable and present a
theoretical analysis that aims to characterize weaker conditions under which
accurate fairness evaluation is possible.
Furthermore, our theory identifies potential sources of errors and decouples
them into two interpretable parts $\gamma$ and $\epsilon$. The first part
$\gamma$ depends solely on the performance of the proxy such as precision and
recall, whereas the second part $\epsilon$ captures correlations between all
the variables of interest. We show that in many scenarios the error in the
estimates is dominated by $\gamma$ via a linear dependence, whereas the
dependence on the correlations $\epsilon$ only constitutes a lower order term.
As a result we expand the understanding of scenarios where measuring model
fairness via proxies can be an effective approach. Finally, we compare, via
simulations, the theoretical upper-bounds to the distribution of simulated
estimation errors and show that assuming some structure on the data, even weak,
is key to significantly improve both theoretical guarantees and empirical
results.
- Abstract（参考訳）: 本研究は,雑音情報に基づく機械学習モデルの公平性の測定問題について考察する。
グループフェアネスの指標に着目し、評価が共変量変数の共起効果の制御を必要とする場合、特に、一般的な状況について検討する。
現実的な環境では、共変量とグループ情報を共同で観測することはできないかもしれないし、標準的な回避策は、これらの変数の1つ以上のプロキシを使用することである。
先行研究は、敏感な属性に対してプロキシを使用する際の課題を実証し、ノイズの多い見積もりの正確性を保証するために強い独立性仮定が必要である。
これとは対照的に,共変量変数のプロキシを用いて検討し,精度の高いフェアネス評価が可能な弱い条件を特徴付ける理論解析を行った。
さらに、我々の理論は潜在的な誤差の原因を特定し、2つの解釈可能な部分 $\gamma$ と $\epsilon$ に分解する。
第1部$\gamma$は、精度やリコールのようなプロキシのパフォーマンスにのみ依存するが、第2部$\epsilon$は、関心のあるすべての変数間の相関をキャプチャする。
多くのシナリオにおいて、推定における誤差は線形依存を介して$\gamma$で支配されるが、相関への依存は$\epsilon$は下位項のみを構成する。
その結果、プロキシによるモデルフェアネスの測定が効果的なアプローチとなるシナリオの理解を深めることができた。
最後に,理論上の上限とシミュレーションによる推定誤差の分布を比較し,データ上の何らかの構造が弱いと仮定することが,理論的な保証と経験的結果の両方を著しく改善する鍵であることを示す。
関連論文リスト
- MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。
実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。
予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
論文 参考訳（メタデータ） (2024-05-29T10:45:06Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Birds of a Feather Trust Together: Knowing When to Trust a Classifier
via Adaptive Neighborhood Aggregation [30.34223543030105]
我々は、NeighborAggがアダプティブ近隣アグリゲーションを介して2つの重要な情報を利用する方法を示す。
また, 誤り検出の密接な関連課題へのアプローチを拡張し, 偽陰性境界に対する理論的カバレッジを保証する。
論文 参考訳（メタデータ） (2022-11-29T18:43:15Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳（メタデータ） (2022-09-15T19:58:01Z) - On the Pitfalls of Heteroscedastic Uncertainty Estimation with
Probabilistic Neural Networks [23.502721524477444]
このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。
問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。
我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
論文 参考訳（メタデータ） (2022-03-17T08:46:17Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。
線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。
エンドツーエンドの分類のための堅牢性証明を提供する。
論文 参考訳（メタデータ） (2020-10-22T22:05:21Z) - The Counterfactual $\chi$-GAN [20.42556178617068]
因果推論は、しばしば、治療の割り当てが結果から独立していることを要求する反ファクト的枠組みに依存する。
本研究は,CGAN(Counterfactual $chi$-GAN)と呼ばれるGAN(Generative Adversarial Network)に基づくモデルを提案する。
論文 参考訳（メタデータ） (2020-01-09T17:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。