論文の概要: On (assessing) the fairness of risk score models
- arxiv url: http://arxiv.org/abs/2302.08851v1
- Date: Fri, 17 Feb 2023 12:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:52:53.264117
- Title: On (assessing) the fairness of risk score models
- Title(参考訳): リスクスコアモデルの公平性について(評価)
- Authors: Eike Petersen, Melanie Ganz, Sune Hannibal Holm, Aasa Feragen
- Abstract要約: リスクモデルは、ユーザに対して潜在的な結果について不確実性を伝えるという事実など、さまざまな理由から関心を集めている。
リスクスコアフェアネスの鍵となるデシダータムとして,異なるグループに類似した価値を提供する。
本稿では,従来提案されていた基準値よりも試料径バイアスが少ない新しい校正誤差指標を提案する。
- 参考スコア(独自算出の注目度): 2.0646127669654826
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent work on algorithmic fairness has largely focused on the fairness of
discrete decisions, or classifications. While such decisions are often based on
risk score models, the fairness of the risk models themselves has received
considerably less attention. Risk models are of interest for a number of
reasons, including the fact that they communicate uncertainty about the
potential outcomes to users, thus representing a way to enable meaningful human
oversight. Here, we address fairness desiderata for risk score models. We
identify the provision of similar epistemic value to different groups as a key
desideratum for risk score fairness. Further, we address how to assess the
fairness of risk score models quantitatively, including a discussion of metric
choices and meaningful statistical comparisons between groups. In this context,
we also introduce a novel calibration error metric that is less sample
size-biased than previously proposed metrics, enabling meaningful comparisons
between groups of different sizes. We illustrate our methodology - which is
widely applicable in many other settings - in two case studies, one in
recidivism risk prediction, and one in risk of major depressive disorder (MDD)
prediction.
- Abstract(参考訳): アルゴリズム的公平性に関する最近の研究は、離散的決定や分類の公平性に重点を置いている。
このような決定は、しばしばリスクスコアモデルに基づいているが、リスクモデル自体の公平さは、かなり少ない注意を払っている。
リスクモデルは、ユーザに対して潜在的な結果について不確実性を伝えることなど、有意義な人間の監視を可能にする方法を示すことを含む、いくつかの理由から興味深い。
ここではリスクスコアモデルのためのフェアネスデシダータについて述べる。
類似した認識値の異なるグループへの提供をリスクスコアフェアネスの重要なデシデラタムとして特定する。
さらに,リスクスコアモデルの公平性を定量的に評価する方法について検討し,メートル法選択と有意義なグループ間の統計的比較について考察した。
この文脈では,従来提案していた基準よりもサンプルサイズバイアスの少ない新しいキャリブレーション誤差メトリックを導入し,異なる大きさのグループ間の有意義な比較を可能にした。
我々は,他の多くの場面で広く適用可能な方法論を,recidivism risk prediction (recidivism risk prediction) と major depressive disorder (mdd) の2つのケーススタディで紹介する。
関連論文リスト
- Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。
経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。
検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
論文 参考訳(メタデータ) (2024-09-30T04:02:52Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳(メタデータ) (2024-03-28T17:28:06Z) - On the Societal Impact of Open Foundation Models [93.67389739906561]
ここでは、広く利用可能なモデルウェイトを持つものとして定義されている、オープンファンデーションモデルに重点を置いています。
オープンファンデーションモデルの5つの特徴を識別し,その利点とリスクを両立させる。
論文 参考訳(メタデータ) (2024-02-27T16:49:53Z) - Risk Aware Benchmarking of Large Language Models [36.95053112313244]
本稿では,統計的に有意な基礎モデルの社会技術的リスクを定量的に評価するための分布的枠組みを提案する。
本試験における2次統計は,計量学や数理ファイナンスでよく用いられる平均リスクモデルと関連していることを示す。
筆者らは,本フレームワークを用いて,命令からのドリフトや有害なコンテンツの出力に関連するリスクに関する,さまざまな大規模言語モデルを比較した。
論文 参考訳(メタデータ) (2023-10-11T02:08:37Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - Two steps to risk sensitivity [4.974890682815778]
条件付きバリュー・アット・リスク(CVaR)は、人間と動物の計画のモデル化のためのリスク尺度である。
CVaRに対する従来の分布的アプローチを逐次的に導入し、人間の意思決定者の選択を再分析する。
次に,リスク感度,すなわち時間的整合性,さらに重要な特性について考察し,CVaRの代替案を示す。
論文 参考訳(メタデータ) (2021-11-12T16:27:47Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Feedback Effects in Repeat-Use Criminal Risk Assessments [0.0]
リスクは、単発テストで捉えられていない方法で、シーケンシャルな決定を伝達できることを示します。
リスクアセスメントツールは、非常に複雑でパスに依存したプロセスで動作し、歴史的な不平等が引き起こされる。
論文 参考訳(メタデータ) (2020-11-28T06:40:05Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。