論文の概要: It's COMPASlicated: The Messy Relationship between RAI Datasets and
Algorithmic Fairness Benchmarks
- arxiv url: http://arxiv.org/abs/2106.05498v3
- Date: Thu, 28 Apr 2022 18:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 02:15:34.900617
- Title: It's COMPASlicated: The Messy Relationship between RAI Datasets and
Algorithmic Fairness Benchmarks
- Title(参考訳): 結論:raiデータセットとアルゴリズム的公平性ベンチマークの間の乱雑な関係
- Authors: Michelle Bao, Angela Zhou, Samantha Zottola, Brian Brubach, Sarah
Desmarais, Aaron Horowitz, Kristian Lum, Suresh Venkatasubramanian
- Abstract要約: リスク評価器(RAI)データセットは、アルゴリズムフェアネス論文で一般的に使用される。
プレトライアルRAIデータセットには、多くの測定バイアスと誤りが含まれていることを示す。
- 参考スコア(独自算出の注目度): 12.033081357205257
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Risk assessment instrument (RAI) datasets, particularly ProPublica's COMPAS
dataset, are commonly used in algorithmic fairness papers due to benchmarking
practices of comparing algorithms on datasets used in prior work. In many
cases, this data is used as a benchmark to demonstrate good performance without
accounting for the complexities of criminal justice (CJ) processes. However, we
show that pretrial RAI datasets can contain numerous measurement biases and
errors, and due to disparities in discretion and deployment, algorithmic
fairness applied to RAI datasets is limited in making claims about real-world
outcomes. These reasons make the datasets a poor fit for benchmarking under
assumptions of ground truth and real-world impact. Furthermore, conventional
practices of simply replicating previous data experiments may implicitly
inherit or edify normative positions without explicitly interrogating
value-laden assumptions. Without context of how interdisciplinary fields have
engaged in CJ research and context of how RAIs operate upstream and downstream,
algorithmic fairness practices are misaligned for meaningful contribution in
the context of CJ, and would benefit from transparent engagement with normative
considerations and values related to fairness, justice, and equality. These
factors prompt questions about whether benchmarks for intrinsically
socio-technical systems like the CJ system can exist in a beneficial and
ethical way.
- Abstract(参考訳): リスクアセスメント・インスツルメント(rai)データセット、特にpropublicaのcompasデータセットは、以前の作業で使用されるデータセットでアルゴリズムを比較するベンチマークのプラクティスのため、アルゴリズムの公平性論文で一般的に使用される。
多くの場合、このデータは刑事司法(cj)プロセスの複雑さを考慮せずに、優れたパフォーマンスを示すベンチマークとして使用される。
しかし, 事前RAIデータセットには多くの測定バイアスや誤差があり, 偏差や展開の相違により, RAIデータセットに適用されるアルゴリズム的公正性は, 実世界の結果に対する主張に限られている。
これらの理由から、データセットは根拠の真理と現実世界の影響の仮定の下ではベンチマークに不適当である。
さらに、従来のデータ実験を単純に複製する慣行は、暗黙的に規範的な位置を継承またはエデュケーションすることがある。
学際的な分野がCJの研究や、RAIが上流と下流でどのように機能するかという文脈がなければ、アルゴリズム的公正の実践はCJの文脈において有意義な貢献のために不一致であり、公正、正義、平等に関連する規範的考慮と価値による透明な関与の恩恵を受ける。
これらの要因は、CJシステムのような本質的に社会技術システムのベンチマークが有益で倫理的な方法で存在するかどうかという疑問を引き起こす。
関連論文リスト
- Low-Resource Court Judgment Summarization for Common Law Systems [32.13166048504629]
CLSumは,多審理法裁判所判決文書を要約する最初のデータセットである。
これは、データ拡張、要約生成、評価において、大規模言語モデル(LLM)を採用する最初の裁判所判決要約作業である。
論文 参考訳(メタデータ) (2024-03-07T12:47:42Z) - FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [57.18130745705417]
本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。
グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
論文 参考訳(メタデータ) (2023-06-15T19:51:28Z) - Beyond Incompatibility: Trade-offs between Mutually Exclusive Fairness
Criteria in Machine Learning and Law [0.6824747267214372]
本稿では,3つのフェアネス基準を連続的に補間する新しいアルゴリズム(FAir Interpolation Method: FAIM)を提案する。
我々は,合成データ,CompASデータセット,電子商取引部門による新たな実世界のデータセットに適用した場合のアルゴリズムの有効性を実証する。
論文 参考訳(メタデータ) (2022-12-01T12:47:54Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。
本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。
APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
論文 参考訳(メタデータ) (2022-07-20T16:31:19Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳(メタデータ) (2021-07-28T13:21:27Z) - Learning to Limit Data Collection via Scaling Laws: Data Minimization
Compliance in Practice [62.44110411199835]
我々は機械学習法における文献に基づいて、データとシステム性能を結びつけるデータ解釈に基づく収集を制限するフレームワークを提案する。
我々は、性能曲線微分に基づくデータ最小化基準を定式化し、有効かつ解釈可能な分数法法技術を提供する。
論文 参考訳(メタデータ) (2021-07-16T19:59:01Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳(メタデータ) (2021-04-14T14:20:22Z) - Fast Fair Regression via Efficient Approximations of Mutual Information [0.0]
本稿では, 回帰モデルに対する独立性, 分離性, 充足性グループフェアネス基準の高速な近似について紹介する。
正規化リスク最小化フレームワーク内で公正性を強制するために、正規化のような近似を使用する。
実世界のデータセットでの実験では、計算効率が優れているにもかかわらず、我々のアルゴリズムは依然として最先端の精度/フェアネスのトレードオフを示す。
論文 参考訳(メタデータ) (2020-02-14T08:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。