論文の概要: Experimental Evaluation of Algorithm-Assisted Human Decision-Making:
Application to Pretrial Public Safety Assessment
- arxiv url: http://arxiv.org/abs/2012.02845v4
- Date: Sat, 11 Dec 2021 17:20:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-22 02:44:41.307665
- Title: Experimental Evaluation of Algorithm-Assisted Human Decision-Making:
Application to Pretrial Public Safety Assessment
- Title（参考訳）: アルゴリズムによる人的意思決定の実験的評価 : 事前の公衆安全評価への応用
- Authors: Kosuke Imai, Zhichao Jiang, James Greiner, Ryan Halen, Sooahn Shin
- Abstract要約: 本研究では,人的決定に対するアルゴリズムレコメンデーションの因果的影響を実験的に評価するための統計的方法論を開発する。
提案手法を第1回ランダム化制御試験の予備データに適用する。
PSAを裁判官に提供することは、裁判官の決定とその後の逮捕者行動に全体的な影響はほとんどない。
- 参考スコア（独自算出の注目度）: 0.8749675983608171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite an increasing reliance on fully-automated algorithmic decision-making
in our day-to-day lives, human beings still make highly consequential
decisions. As frequently seen in business, healthcare, and public policy,
recommendations produced by algorithms are provided to human decision-makers to
guide their decisions. While there exists a fast-growing literature evaluating
the bias and fairness of such algorithmic recommendations, an overlooked
question is whether they help humans make better decisions. We develop a
statistical methodology for experimentally evaluating the causal impacts of
algorithmic recommendations on human decisions. We also show how to examine
whether algorithmic recommendations improve the fairness of human decisions and
derive the optimal decision rules under various settings. We apply the proposed
methodology to preliminary data from the first-ever randomized controlled trial
that evaluates the pretrial Public Safety Assessment (PSA) in the criminal
justice system. A goal of the PSA is to help judges decide which arrested
individuals should be released. On the basis of the preliminary data available,
we find that providing the PSA to the judge has little overall impact on the
judge's decisions and subsequent arrestee behavior. However, our analysis
yields some potentially suggestive evidence that the PSA may help avoid
unnecessarily harsh decisions for female arrestees regardless of their risk
levels while it encourages the judge to make stricter decisions for male
arrestees who are deemed to be risky. In terms of fairness, the PSA appears to
increase the gender bias against males while having little effect on any
existing racial differences in judges' decision. Finally, we find that the
PSA's recommendations might be unnecessarily severe unless the cost of a new
crime is sufficiently high.
- Abstract（参考訳）: 日々の生活において、完全に自動化されたアルゴリズムによる意思決定に頼っているにもかかわらず、人間はいまだに極めて簡潔な決定を下している。
ビジネス、医療、公共政策でよく見られるように、アルゴリズムによって生成された勧告は、意思決定を導くために人間の意思決定者に提供される。
アルゴリズムによる推薦のバイアスと公平さを評価する文献が急速に増えているが、見落とされがちな疑問は、人間がより良い判断を下すのに役立つかどうかだ。
本研究では,人間の決定に対するアルゴリズム推薦の因果影響を実験的に評価するための統計的手法を開発した。
また,アルゴリズムによる推薦が人間の判断の公平性を向上し,様々な条件下で最適な決定ルールを導出する方法を示す。
本提案手法は,刑事司法制度における事前公衆安全評価 (PSA) の評価を行う第1回ランダム化対照試験の予備データに適用する。
PSAの目標は、逮捕された個人を解放するかを裁判官が決めるのを支援することである。
予備データに基づいて、裁判官にPSAを提供することは、裁判官の決定とその後の逮捕者行動に全体的な影響がほとんどないことがわかった。
しかし、我々の分析は、PSAがリスクレベルに関わらず、不必要に女性逮捕者に対して厳しい判断を下すのを防ぎ、また、危険と考えられる男性逮捕者に対してより厳格な判断をするよう、裁判官に促す可能性を示唆している。
公平性に関しては、PSAは男性に対する男女差を増大させる一方で、審査員の判断における既存の人種差にはほとんど影響を与えないようである。
最後に、新たな犯罪のコストが十分に高くない限り、PSAの勧告は必然的に厳しいものとなる可能性がある。
関連論文リスト
- Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
論文 参考訳（メタデータ） (2024-03-18T01:04:52Z) - Decision Theoretic Foundations for Experiments Evaluating Human Decisions [18.27590643693167]
我々は、人間のパフォーマンスの損失をバイアスの形で評価するためには、合理的なエージェントが実用性を最大化する決定を識別する必要があるという情報を参加者に提供する必要があると論じる。
実演として,AIによる意思決定に関する文献からの意思決定の評価が,これらの基準をどの程度達成したかを評価する。
論文 参考訳（メタデータ） (2024-01-25T16:21:37Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Incentive-Theoretic Bayesian Inference for Collaborative Science [59.15962177829337]
未知のパラメータについて、プライベートな先行エージェントが存在する場合の仮説テストについて検討する。
エージェントの戦略行動によって明らかにされる情報を活用する統計的推論を行う方法を示す。
論文 参考訳（メタデータ） (2023-07-07T17:59:01Z) - Causal Fairness for Outcome Control [68.12191782657437]
本稿では,自動システムにおいて,公平かつ公平な結果変数を最適化することを目的とした,結果制御と呼ばれる特定の意思決定タスクについて検討する。
本稿では、まず因果レンズを通して利益の概念を分析し、特定の個人が肯定的な決定によってどれだけの利益を得られるかを明らかにする。
次に、保護された属性の影響を受けている可能性があることに留意し、これを分析するために使用できる因果的ツールを提案する。
論文 参考訳（メタデータ） (2023-06-08T09:31:18Z) - Algorithmic Assistance with Recommendation-Dependent Preferences [2.864550757598007]
選択に影響を及ぼすアルゴリズムレコメンデーションの効果と設計について考察する。
我々は、レコメンデーションに依存した選好が、意思決定者がレコメンデーションに過度に反応する非効率性を生み出すことを示す。
論文 参考訳（メタデータ） (2022-08-16T09:24:47Z) - The Impact of Algorithmic Risk Assessments on Human Predictions and its
Analysis via Crowdsourcing Studies [79.66833203975729]
我々は,在職者が将来の再起を予測することを任務とするヴィグネット研究を行う。
参加者は、再逮捕の確率が50%よりかなり低いと判断しても、犯罪者が再逮捕されることをしばしば予測します。
裁判官の判断は、参加者の予測とは異なり、部分的には再逮捕の可能性がある要因に依存する。
論文 参考訳（メタデータ） (2021-09-03T11:09:10Z) - Algorithmic risk assessments can alter human decision-making processes
in high-stakes government contexts [19.265010348250897]
リスクアセスメントは意思決定の要因としてリスクのサリエンスを高めることで意思決定プロセスを変え、これらの変化が人種格差を悪化させる可能性があることを示す。
これらの結果から,アルゴリズムによる予測精度の向上は必ずしも人間の意思決定を改善するものではないことを示し,意思決定者による政府アルゴリズムの使用方法を実験的に検証する必要性を強調した。
論文 参考訳（メタデータ） (2020-12-09T23:44:45Z) - A Risk Assessment of a Pretrial Risk Assessment Tool: Tussles,
Mitigation Strategies, and Inherent Limits [0.0]
我々は、サンフランシスコやその他の司法管轄区域で使用されているソフトウェアである公衆安全評価(PSA)のリスクアセスメントを実施し、裁判の前に被告を拘留する必要があるかどうかを判断する裁判官を支援する。
我々はPSAソリューションの利点と限界を明確にし、緩和戦略を提案する。
そして、我々は、デザインによるリスクアセスメントツールの本質的な制限を満たす、新しいアルゴリズムによる事前審理のアプローチであるハンドオフツリーを草案化した。
論文 参考訳（メタデータ） (2020-05-14T23:56:57Z) - Fairness Evaluation in Presence of Biased Noisy Labels [84.12514975093826]
本稿では,グループ間の雑音の仮定がリスク評価モデルの予測バイアス特性に与える影響を評価するための感度分析フレームワークを提案する。
2つの実世界の刑事司法データセットに関する実験結果は、観測されたラベルの小さなバイアスでさえ、ノイズのある結果に基づく分析結果の結論に疑問を投げかけることができることを示している。
論文 参考訳（メタデータ） (2020-03-30T20:47:00Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。