論文の概要: Statistical Inference for Fairness Auditing
- arxiv url: http://arxiv.org/abs/2305.03712v2
- Date: Thu, 8 Jun 2023 05:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 19:02:34.544409
- Title: Statistical Inference for Fairness Auditing
- Title(参考訳): 公正監査のための統計的推論
- Authors: John J. Cherian, Emmanuel J. Cand\`es
- Abstract要約: 我々は、このタスクを複数の仮説テストの観点から「フェアネス監査」とみなしている。
ブートストラップを用いて,グループ間のパフォーマンス格差を同時にバインドする方法を示す。
本手法は,モデルアンダーパフォーマンスの影響を受けるサブポピュレーションのフラグ付けや,モデルが適切に機能するサブポピュレーションの認証に利用できる。
- 参考スコア(独自算出の注目度): 4.318555434063274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Before deploying a black-box model in high-stakes problems, it is important
to evaluate the model's performance on sensitive subpopulations. For example,
in a recidivism prediction task, we may wish to identify demographic groups for
which our prediction model has unacceptably high false positive rates or
certify that no such groups exist. In this paper, we frame this task, often
referred to as "fairness auditing," in terms of multiple hypothesis testing. We
show how the bootstrap can be used to simultaneously bound performance
disparities over a collection of groups with statistical guarantees. Our
methods can be used to flag subpopulations affected by model underperformance,
and certify subpopulations for which the model performs adequately. Crucially,
our audit is model-agnostic and applicable to nearly any performance metric or
group fairness criterion. Our methods also accommodate extremely rich -- even
infinite -- collections of subpopulations. Further, we generalize beyond
subpopulations by showing how to assess performance over certain distribution
shifts. We test the proposed methods on benchmark datasets in predictive
inference and algorithmic fairness and find that our audits can provide
interpretable and trustworthy guarantees.
- Abstract(参考訳): ブラックボックスモデルを高精細な問題に展開する前には、センシティブなサブポピュレーションでモデルの性能を評価することが重要である。
例えば、レシディズム予測タスクでは、予測モデルが認識不能な高い偽陽性率を持つ人口集団を識別したり、そのようなグループは存在しないことを証明したりします。
本稿では,複数の仮説テストの観点から,このタスクを「フェアネス監査」と呼ぶことが多い。
統計的保証のあるグループ群に対して,ブートストラップを用いて性能格差を同時にバインドする方法を示す。
本手法は,モデルアンダーパフォーマンスの影響を受けるサブポピュレーションのフラグ付けや,モデルが適切に機能するサブポピュレーションの認証に利用できる。
当社の監査はモデルに依存しないものであり、ほぼすべてのパフォーマンス指標やグループフェアネス基準に適用可能です。
私たちのメソッドは、サブポピュレーションのコレクションも非常にリッチで、無限でもあります。
さらに, ある分布シフトに対する性能評価方法を示すことで, サブポピュレーションを超えて一般化する。
提案手法を予測的推論とアルゴリズムフェアネスのベンチマークデータセット上で検証し,監査が解釈可能かつ信頼性の高い保証を提供できることを確認した。
関連論文リスト
- A structured regression approach for evaluating model performance across
intersectional subgroups [57.84444882410051]
分散評価は、AIフェアネスアセスメントにおける中心的なタスクであり、異なるサブグループ間でAIシステムのパフォーマンスを測定することを目的としている。
本稿では,システム性能評価の信頼性を実証する,非凝集評価のための構造化回帰手法を提案する。
我々は2つの公開データセットといくつかの半合成データの変種についてアプローチを評価した。
論文 参考訳(メタデータ) (2024-01-26T14:21:45Z) - A Brief Tutorial on Sample Size Calculations for Fairness Audits [6.66743248310448]
本チュートリアルでは、フェアネス監査に必要なサブグループサンプルサイズを決定する方法についてのガイダンスを提供する。
本研究は,2値分類モデルと混同行列の要約として導出された多重公平度指標の監査に適用できる。
論文 参考訳(メタデータ) (2023-12-07T22:59:12Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - The Unbearable Weight of Massive Privilege: Revisiting Bias-Variance
Trade-Offs in the Context of Fair Prediction [7.975779552420981]
単一モデルによるトレードオフを改善することを目的とした条件付きid(ciid)モデルを提案する。
我々は、CompASおよびフォークテーブルデータセット上で、我々の設定を実証的にテストする。
分析の結果,条件付きモデルが好まれる原則的手順や具体的な実世界のユースケースが存在する可能性が示唆された。
論文 参考訳(メタデータ) (2023-02-17T05:34:35Z) - Consistent Range Approximation for Fair Predictive Modeling [10.613912061919775]
このフレームワークは、トレーニング中の外部データの可用性に関わらず、ターゲット個体数に対して確実に公正な予測モデルを構築する。
このフレームワークの有効性は、実データの評価を通じて実証され、既存の最先端手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-21T08:27:49Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳(メタデータ) (2021-09-17T13:45:46Z) - Testing Group Fairness via Optimal Transport Projections [12.972104025246091]
提案試験は, 摂動に偏りを示すか, データのランダム性に起因するかを評価するための, 柔軟な, 解釈可能な, 統計的に厳密なツールである。
グループフェアネスを定義する複数の影響基準から生じる可能性のある統計的課題は、グループフェア確率モデルの集合に経験的測度を投影することによって、都合よく取り組まれる。
提案フレームワークは,複数属性の合成固有フェアネス仮説およびフェアネスの試験にも使用することができる。
論文 参考訳(メタデータ) (2021-06-02T10:51:39Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-15T10:08:39Z) - Achieving Equalized Odds by Resampling Sensitive Attributes [13.114114427206678]
等価性の概念をほぼ満足する予測モデルを学習するためのフレキシブルなフレームワークを提案する。
この微分可能な関数は、モデルパラメータを等化奇数に向けて駆動するペナルティとして使用される。
本研究は,予測規則が本性質に反するか否かを検出するための公式な仮説テストを開発する。
論文 参考訳(メタデータ) (2020-06-08T00:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。