論文の概要: A Brief Tutorial on Sample Size Calculations for Fairness Audits
- arxiv url: http://arxiv.org/abs/2312.04745v1
- Date: Thu, 7 Dec 2023 22:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:47:43.332675
- Title: A Brief Tutorial on Sample Size Calculations for Fairness Audits
- Title（参考訳）: フェアネス監査のためのサンプルサイズ計算に関する簡単なチュートリアル
- Authors: Harvineet Singh, Fan Xia, Mi-Ok Kim, Romain Pirracchio, Rumi Chunara,
Jean Feng
- Abstract要約: 本チュートリアルでは、フェアネス監査に必要なサブグループサンプルサイズを決定する方法についてのガイダンスを提供する。
本研究は,2値分類モデルと混同行列の要約として導出された多重公平度指標の監査に適用できる。
- 参考スコア（独自算出の注目度）: 6.66743248310448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In fairness audits, a standard objective is to detect whether a given
algorithm performs substantially differently between subgroups. Properly
powering the statistical analysis of such audits is crucial for obtaining
informative fairness assessments, as it ensures a high probability of detecting
unfairness when it exists. However, limited guidance is available on the amount
of data necessary for a fairness audit, lacking directly applicable results
concerning commonly used fairness metrics. Additionally, the consideration of
unequal subgroup sample sizes is also missing. In this tutorial, we address
these issues by providing guidance on how to determine the required subgroup
sample sizes to maximize the statistical power of hypothesis tests for
detecting unfairness. Our findings are applicable to audits of binary
classification models and multiple fairness metrics derived as summaries of the
confusion matrix. Furthermore, we discuss other aspects of audit study designs
that can increase the reliability of audit results.
- Abstract（参考訳）: 公正監査において、標準的な目的は、与えられたアルゴリズムがサブグループ間で実質的に異なる動作をするかどうかを検出することである。
このような監査の統計的分析を適切に行うことは、不公平を検知する高い確率を確保するため、情報的公正性評価を得るためには不可欠である。
しかしながら、フェアネス監査に必要なデータ量に関する限定的なガイダンスがあり、一般的に使用されるフェアネスメトリクスに関する直接的な適用結果が欠落している。
さらに、不等な部分群のサンプルサイズも考慮されていない。
本チュートリアルでは,不公平性を検出するための仮説テストの統計的パワーを最大化するために,必要なサブグループサンプルサイズを決定するためのガイダンスを提供することで,これらの課題に対処する。
本研究は,2値分類モデルと混同行列の要約として導出された多重公平度指標の監査に適用できる。
さらに,監査結果の信頼性を高める監査研究設計の他の側面についても考察する。
関連論文リスト
- Sampling Audit Evidence Using a Naive Bayes Classifier [0.0]
本研究は,機械学習とサンプリングを統合することで,サンプリング手法を進歩させる。
機械学習の統合は、サンプリングバイアスを避け、ランダム性と可変性を保ち、リスクサンプルをターゲットする。
論文 参考訳（メタデータ） (2024-03-21T01:35:03Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳（メタデータ） (2024-01-26T14:21:45Z) - A Universal Unbiased Method for Classification from Aggregate
Observations [115.20235020903992]
本稿では,任意の損失に対する分類リスクを非バイアスで推定するCFAOの普遍的手法を提案する。
提案手法は,非バイアスリスク推定器によるリスクの整合性を保証するだけでなく,任意の損失に対応できる。
論文 参考訳（メタデータ） (2023-06-20T07:22:01Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z) - Statistical Inference for Fairness Auditing [4.318555434063274]
我々は、このタスクを複数の仮説テストの観点から「フェアネス監査」とみなしている。
ブートストラップを用いて,グループ間のパフォーマンス格差を同時にバインドする方法を示す。
本手法は,モデルアンダーパフォーマンスの影響を受けるサブポピュレーションのフラグ付けや,モデルが適切に機能するサブポピュレーションの認証に利用できる。
論文 参考訳（メタデータ） (2023-05-05T17:54:22Z) - Error Parity Fairness: Testing for Group Fairness in Regression Tasks [5.076419064097733]
この研究は、回帰フェアネスの概念としてエラーパリティを示し、グループフェアネスを評価するためのテスト手法を導入する。
続いて、いくつかの統計上のグループを比較し、格差を探索し、影響されたグループを特定するのに適した置換テストが実施される。
全体として、提案された回帰公正性テスト手法は、公正な機械学習文献のギャップを埋め、より大きなアカウンタビリティ評価とアルゴリズム監査の一部として機能する可能性がある。
論文 参考訳（メタデータ） (2022-08-16T17:47:20Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:46Z) - Testing Group Fairness via Optimal Transport Projections [12.972104025246091]
提案試験は, 摂動に偏りを示すか, データのランダム性に起因するかを評価するための, 柔軟な, 解釈可能な, 統計的に厳密なツールである。
グループフェアネスを定義する複数の影響基準から生じる可能性のある統計的課題は、グループフェア確率モデルの集合に経験的測度を投影することによって、都合よく取り組まれる。
提案フレームワークは,複数属性の合成固有フェアネス仮説およびフェアネスの試験にも使用することができる。
論文 参考訳（メタデータ） (2021-06-02T10:51:39Z) - A Statistical Test for Probabilistic Fairness [11.95891442664266]
不正な分類を検知するための統計的仮説テストを提案する。
理論的にも実証的にも,提案された試験が正しいことを示す。
さらに,提案フレームワークは,データの最も好ましい摂動を識別することにより,解釈可能性を提供する。
論文 参考訳（メタデータ） (2020-12-09T00:20:02Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。