論文の概要: Fairness Evaluation in Presence of Biased Noisy Labels
- arxiv url: http://arxiv.org/abs/2003.13808v1
- Date: Mon, 30 Mar 2020 20:47:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-27 11:51:32.610141
- Title: Fairness Evaluation in Presence of Biased Noisy Labels
- Title(参考訳): バイアス付き雑音ラベルの存在下での公平性評価
- Authors: Riccardo Fogliato, Max G'Sell, Alexandra Chouldechova
- Abstract要約: 本稿では,グループ間の雑音の仮定がリスク評価モデルの予測バイアス特性に与える影響を評価するための感度分析フレームワークを提案する。
2つの実世界の刑事司法データセットに関する実験結果は、観測されたラベルの小さなバイアスでさえ、ノイズのある結果に基づく分析結果の結論に疑問を投げかけることができることを示している。
- 参考スコア(独自算出の注目度): 84.12514975093826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Risk assessment tools are widely used around the country to inform decision
making within the criminal justice system. Recently, considerable attention has
been devoted to the question of whether such tools may suffer from racial bias.
In this type of assessment, a fundamental issue is that the training and
evaluation of the model is based on a variable (arrest) that may represent a
noisy version of an unobserved outcome of more central interest (offense). We
propose a sensitivity analysis framework for assessing how assumptions on the
noise across groups affect the predictive bias properties of the risk
assessment model as a predictor of reoffense. Our experimental results on two
real world criminal justice data sets demonstrate how even small biases in the
observed labels may call into question the conclusions of an analysis based on
the noisy outcome.
- Abstract(参考訳): リスクアセスメントツールは刑事司法制度内での意思決定を通知するために全国で広く利用されている。
近年,このようなツールが人種的偏見に悩まされるかどうかという問題に注目が集まっている。
この種の評価では、モデルのトレーニングと評価は、より中心的関心(攻撃)の観察されていない結果のノイズの多いバージョンを表す変数(アレスト)に基づいていることが基本的な問題である。
本稿では,グループ間の雑音の仮定がリスク評価モデルの予測バイアス特性にどのように影響するかを評価するための感度分析フレームワークを提案する。
2つの実世界の刑事司法データセットに関する実験結果は、観測されたラベルの小さなバイアスでさえ、ノイズのある結果に基づく分析結果の結論に疑問を投げかけることができることを示している。
関連論文リスト
- Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - Provable Detection of Propagating Sampling Bias in Prediction Models [1.7709344190822935]
本稿では,データバイアスの特定の形式である差分サンプリングバイアスが,データステージから予測ステージにどのように伝播するかを理論的に分析する。
妥当な仮定の下では、モデル予測におけるバイアスの量が、データの差分サンプリングバイアスの量の関数としてどのように変化するかを定量化する。
仮定が緩和された場合でも理論的な結果が実際に成り立つことを実証する。
論文 参考訳(メタデータ) (2023-02-13T23:39:35Z) - Robust Design and Evaluation of Predictive Algorithms under Unobserved
Confounding [3.1133049660590615]
本稿では,選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一手法を提案する。
提案手法は, 選択されていない単位と選択された単位の平均値によって, 結果がどの程度異なるか, という一般的な仮定を与える。
観測不能な共起に関する様々な仮定が、デフォルトリスク予測や、センシティブなグループ間での信用スコアの評価に有意義な変化をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-19T20:41:44Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - The Impact of Algorithmic Risk Assessments on Human Predictions and its
Analysis via Crowdsourcing Studies [79.66833203975729]
我々は,在職者が将来の再起を予測することを任務とするヴィグネット研究を行う。
参加者は、再逮捕の確率が50%よりかなり低いと判断しても、犯罪者が再逮捕されることをしばしば予測します。
裁判官の判断は、参加者の予測とは異なり、部分的には再逮捕の可能性がある要因に依存する。
論文 参考訳(メタデータ) (2021-09-03T11:09:10Z) - Independent Ethical Assessment of Text Classification Models: A Hate
Speech Detection Case Study [0.5541644538483947]
人工知能システムの独立した倫理的評価は、倫理的価値に合わせてシステムの発達、展開、使用を公平に検証するものである。
本研究は、このギャップを埋め、ヘイトスピーチ検出の課題に特化して、テキスト分類モデルの総合的な独立した倫理的評価プロセスを設計する。
論文 参考訳(メタデータ) (2021-07-19T23:03:36Z) - Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。
具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。
大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
論文 参考訳(メタデータ) (2021-03-07T03:10:32Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳(メタデータ) (2021-01-18T22:55:40Z) - Feedback Effects in Repeat-Use Criminal Risk Assessments [0.0]
リスクは、単発テストで捉えられていない方法で、シーケンシャルな決定を伝達できることを示します。
リスクアセスメントツールは、非常に複雑でパスに依存したプロセスで動作し、歴史的な不平等が引き起こされる。
論文 参考訳(メタデータ) (2020-11-28T06:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。