論文の概要: Does AI help humans make better decisions? A methodological framework for experimental evaluation
- arxiv url: http://arxiv.org/abs/2403.12108v2
- Date: Fri, 11 Oct 2024 23:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:59:24.176132
- Title: Does AI help humans make better decisions? A methodological framework for experimental evaluation
- Title（参考訳）: AIは人間がより良い判断を下すのに役立つか? 実験的な評価のための方法論的枠組み
- Authors: Eli Ben-Michael, D. James Greiner, Melody Huang, Kosuke Imai, Zhichao Jiang, Sooahn Shin,
- Abstract要約: 我々は、人間と人、AIとAIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
- 参考スコア（独自算出の注目度）: 0.43981305860983716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of Artificial Intelligence (AI), or more generally data-driven algorithms, has become ubiquitous in today's society. Yet, in many cases and especially when stakes are high, humans still make final decisions. The critical question, therefore, is whether AI helps humans make better decisions compared to a human-alone or AI-alone system. We introduce a new methodological framework to experimentally answer this question without additional assumptions. We measure a decision maker's ability to make correct decisions using standard classification metrics based on the baseline potential outcome. We consider a single-blinded experimental design, in which the provision of AI-generated recommendations is randomized across cases with humans making final decisions. Under this experimental design, we show how to compare the performance of three alternative decision-making systems -- human-alone, human-with-AI, and AI-alone. We also show when to provide a human-decision maker with AI recommendations and when they should follow such recommendations. We apply the proposed methodology to the data from our own randomized controlled trial of a pretrial risk assessment instrument. We find that the risk assessment recommendations do not improve the classification accuracy of a judge's decision to impose cash bail. Our analysis also shows that the risk assessment-alone decisions generally perform worse than human decisions with or without algorithmic assistance.
- Abstract（参考訳）: 人工知能(AI)、あるいはより一般的にデータ駆動型アルゴリズムの使用は、今日の社会においてユビキタスになりつつある。
しかし、多くの場合、特に利害関係が高い場合、人間は最終的な決定を下す。
したがって、重要な疑問は、AIが人間単独のシステムやAI単独のシステムと比較して、人間のより良い意思決定を支援するかどうかである。
追加の仮定を伴わずにこの問題に実験的に答える新しい方法論的枠組みを導入する。
我々は、基準となる潜在的な結果に基づいて、標準分類基準を用いて正しい意思決定を行う意思決定者の能力を測定する。
我々は、AI生成レコメンデーションの提供が最終決定を下す場合にランダム化される、単盲の実験的設計を考える。
この実験的な設計の下で、人間と人間とAI、AIとAIの3つの代替意思決定システムのパフォーマンスを比較する方法について説明する。
また、AIレコメンデーションを備えた人間意思決定者を提供する時期と、そのようなレコメンデーションに従うべき時期も示します。
提案手法を,事前リスク評価器のランダム化制御試験から得られたデータに適用する。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
我々の分析では、リスクアセスメントの判断は、一般的にアルゴリズムによる支援の有無にかかわらず、人間の決定よりも悪い結果が得られます。
関連論文リスト
- Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Learning to Make Adherence-Aware Advice [8.419688203654948]
本稿では,人間の従順性を考慮した逐次意思決定モデルを提案する。
最適なアドバイスポリシーを学習し、重要なタイムスタンプでのみアドバイスを行う学習アルゴリズムを提供する。
論文 参考訳（メタデータ） (2023-10-01T23:15:55Z) - Using AI Uncertainty Quantification to Improve Human Decision-Making [14.878886078377562]
AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。
2つのオンライン行動実験において、厳格なスコアリングルールを用いて、事例レベルのUQにおける人的意思決定への影響を評価した。
論文 参考訳（メタデータ） (2023-09-19T18:01:25Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Algorithmic Assistance with Recommendation-Dependent Preferences [2.864550757598007]
選択に影響を及ぼすアルゴリズムレコメンデーションの効果と設計について考察する。
我々は、レコメンデーションに依存した選好が、意思決定者がレコメンデーションに過度に反応する非効率性を生み出すことを示す。
論文 参考訳（メタデータ） (2022-08-16T09:24:47Z) - Randomized Classifiers vs Human Decision-Makers: Trustworthy AI May Have
to Act Randomly and Society Seems to Accept This [0.8889304968879161]
我々は、人的決定に似て、人工エージェントの判断は必然的に道徳的な原則に根ざすべきであると感じている。
しかし、意思決定者が真に倫理的(倫理的理論に基づく)かつ公正(公平性の概念による)な決定を行うことができるのは、決定を根拠とするすべての関連する要因に関する完全な情報が意思決定時に利用可能である場合のみである。
論文 参考訳（メタデータ） (2021-11-15T05:39:02Z) - Indecision Modeling [50.00689136829134]
AIシステムは人間の価値観に合わせて行動することが重要である。
人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
論文 参考訳（メタデータ） (2020-12-15T18:32:37Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。