論文の概要: It's COMPASlicated: The Messy Relationship between RAI Datasets and Algorithmic Fairness Benchmarks

• arxiv url: http://arxiv.org/abs/2106.05498v3
• Date: Thu, 28 Apr 2022 18:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 02:15:34.900617
• Title: It's COMPASlicated: The Messy Relationship between RAI Datasets and Algorithmic Fairness Benchmarks
• Title（参考訳）: 結論:raiデータセットとアルゴリズム的公平性ベンチマークの間の乱雑な関係
• Authors: Michelle Bao, Angela Zhou, Samantha Zottola, Brian Brubach, Sarah Desmarais, Aaron Horowitz, Kristian Lum, Suresh Venkatasubramanian
• Abstract要約: リスク評価器(RAI)データセットは、アルゴリズムフェアネス論文で一般的に使用される。 プレトライアルRAIデータセットには、多くの測定バイアスと誤りが含まれていることを示す。
• 参考スコア（独自算出の注目度）: 12.033081357205257
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Risk assessment instrument (RAI) datasets, particularly ProPublica's COMPAS dataset, are commonly used in algorithmic fairness papers due to benchmarking practices of comparing algorithms on datasets used in prior work. In many cases, this data is used as a benchmark to demonstrate good performance without accounting for the complexities of criminal justice (CJ) processes. However, we show that pretrial RAI datasets can contain numerous measurement biases and errors, and due to disparities in discretion and deployment, algorithmic fairness applied to RAI datasets is limited in making claims about real-world outcomes. These reasons make the datasets a poor fit for benchmarking under assumptions of ground truth and real-world impact. Furthermore, conventional practices of simply replicating previous data experiments may implicitly inherit or edify normative positions without explicitly interrogating value-laden assumptions. Without context of how interdisciplinary fields have engaged in CJ research and context of how RAIs operate upstream and downstream, algorithmic fairness practices are misaligned for meaningful contribution in the context of CJ, and would benefit from transparent engagement with normative considerations and values related to fairness, justice, and equality. These factors prompt questions about whether benchmarks for intrinsically socio-technical systems like the CJ system can exist in a beneficial and ethical way.
• Abstract（参考訳）: リスクアセスメント・インスツルメント(rai)データセット、特にpropublicaのcompasデータセットは、以前の作業で使用されるデータセットでアルゴリズムを比較するベンチマークのプラクティスのため、アルゴリズムの公平性論文で一般的に使用される。 多くの場合、このデータは刑事司法(cj)プロセスの複雑さを考慮せずに、優れたパフォーマンスを示すベンチマークとして使用される。 しかし, 事前RAIデータセットには多くの測定バイアスや誤差があり, 偏差や展開の相違により, RAIデータセットに適用されるアルゴリズム的公正性は, 実世界の結果に対する主張に限られている。 これらの理由から、データセットは根拠の真理と現実世界の影響の仮定の下ではベンチマークに不適当である。 さらに、従来のデータ実験を単純に複製する慣行は、暗黙的に規範的な位置を継承またはエデュケーションすることがある。 学際的な分野がCJの研究や、RAIが上流と下流でどのように機能するかという文脈がなければ、アルゴリズム的公正の実践はCJの文脈において有意義な貢献のために不一致であり、公正、正義、平等に関連する規範的考慮と価値による透明な関与の恩恵を受ける。 これらの要因は、CJシステムのような本質的に社会技術システムのベンチマークが有益で倫理的な方法で存在するかどうかという疑問を引き起こす。

関連論文リスト

• Optimisation Strategies for Ensuring Fairness in Machine Learning: With and Without Demographics [4.662958544712181]
  本稿では,機械学習フェアネスにおけるオープンな問題に対処するための2つの形式的枠組みを紹介する。 あるフレームワークでは、オペレータ値の最適化とmin-maxの目的が時系列問題の不正性に対処するために使用される。 第2のフレームワークでは、一般的に使用されるデータセットにおいて、性別や人種などのセンシティブな属性を欠くという課題に対処する。
  論文  参考訳（メタデータ） (2024-11-13T22:29:23Z)
• Finite-Sample and Distribution-Free Fair Classification: Optimal Trade-off Between Excess Risk and Fairness, and the Cost of Group-Blindness [14.421493372559762]
  グループフェアネス制約下の二項分類におけるアルゴリズムフェアネスとグループブレンドネスの強制効果を定量化する。 制御された過剰リスクを伴う分布自由かつ有限サンプルフェアネスを保証するフェア分類のための統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:04:17Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Lazy Data Practices Harm Fairness Research [49.02318458244464]
  本稿では,公正な機械学習データセットを包括的に分析し,不反射的手法がアルゴリズム的公正度発見の到達度と信頼性をいかに妨げているかを示す。 本分析では,(1)データと評価における特定の保護属性の表現のテクスブフラック,(2)データ前処理におけるマイノリティの広汎なテキストbf,(3)フェアネス研究の一般化を脅かすテキストbfopaqueデータ処理の3つの分野について検討した。 この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
  論文  参考訳（メタデータ） (2024-04-26T09:51:24Z)
• FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [84.1077756698332]
  本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。 グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
  論文  参考訳（メタデータ） (2023-06-15T19:51:28Z)
• Beyond Incompatibility: Trade-offs between Mutually Exclusive Fairness Criteria in Machine Learning and Law [2.959308758321417]
  本稿では,3つのフェアネス基準を連続的に補間する新しいアルゴリズム(FAir Interpolation Method: FAIM)を提案する。 我々は,合成データ,CompASデータセット,電子商取引部門による新たな実世界のデータセットに適用した場合のアルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-01T12:47:54Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
  機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。 本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。 APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-07-20T16:31:19Z)
• Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
  もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。 異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。 ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
  論文  参考訳（メタデータ） (2021-07-28T13:21:27Z)
• Learning to Limit Data Collection via Scaling Laws: Data Minimization Compliance in Practice [62.44110411199835]
  我々は機械学習法における文献に基づいて、データとシステム性能を結びつけるデータ解釈に基づく収集を制限するフレームワークを提案する。 我々は、性能曲線微分に基づくデータ最小化基準を定式化し、有効かつ解釈可能な分数法法技術を提供する。
  論文  参考訳（メタデータ） (2021-07-16T19:59:01Z)
• Fast Fair Regression via Efficient Approximations of Mutual Information [0.0]
  本稿では, 回帰モデルに対する独立性, 分離性, 充足性グループフェアネス基準の高速な近似について紹介する。 正規化リスク最小化フレームワーク内で公正性を強制するために、正規化のような近似を使用する。 実世界のデータセットでの実験では、計算効率が優れているにもかかわらず、我々のアルゴリズムは依然として最先端の精度/フェアネスのトレードオフを示す。
  論文  参考訳（メタデータ） (2020-02-14T08:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。