論文の概要: Does AI help humans make better decisions? A methodological framework for experimental evaluation
- arxiv url: http://arxiv.org/abs/2403.12108v1
- Date: Mon, 18 Mar 2024 01:04:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:41:45.041347
- Title: Does AI help humans make better decisions? A methodological framework for experimental evaluation
- Title(参考訳): AIは人間がより良い判断を下すのに役立つか? 実験的な評価のための方法論的枠組み
- Authors: Eli Ben-Michael, D. James Greiner, Melody Huang, Kosuke Imai, Zhichao Jiang, Sooahn Shin,
- Abstract要約: 我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
AIレコメンデーションは、キャッシュベイルを課す裁判官の決定の分類精度を向上しない。
- 参考スコア(独自算出の注目度): 0.43981305860983716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of Artificial Intelligence (AI) based on data-driven algorithms has become ubiquitous in today's society. Yet, in many cases and especially when stakes are high, humans still make final decisions. The critical question, therefore, is whether AI helps humans make better decisions as compared to a human alone or AI an alone. We introduce a new methodological framework that can be used to answer experimentally this question with no additional assumptions. We measure a decision maker's ability to make correct decisions using standard classification metrics based on the baseline potential outcome. We consider a single-blinded experimental design, in which the provision of AI-generated recommendations is randomized across cases with a human making final decisions. Under this experimental design, we show how to compare the performance of three alternative decision-making systems--human-alone, human-with-AI, and AI-alone. We apply the proposed methodology to the data from our own randomized controlled trial of a pretrial risk assessment instrument. We find that AI recommendations do not improve the classification accuracy of a judge's decision to impose cash bail. Our analysis also shows that AI-alone decisions generally perform worse than human decisions with or without AI assistance. Finally, AI recommendations tend to impose cash bail on non-white arrestees more often than necessary when compared to white arrestees.
- Abstract(参考訳): データ駆動型アルゴリズムに基づく人工知能(AI)の利用は今日の社会で広く普及している。
しかし、多くの場合、特に利害関係が高い場合、人間は最終的な決定を下す。
したがって、重要な疑問は、AIが人間単独やAI単独と比較して、人間によるより良い意思決定を支援するかどうかである。
本稿では,新たな方法論の枠組みを導入し,追加の仮定を伴わずにこの疑問に実験的に答えられるようにした。
我々は、基準となる潜在的な結果に基づいて、標準分類基準を用いて正しい意思決定を行う意思決定者の能力を測定する。
我々は、AI生成レコメンデーションの提供が、人間が最終決定を下すケースでランダム化される、単盲の実験的設計を考える。
この実験的な設計の下で、人間とAI、AIとAIの3つの代替意思決定システムの性能を比較する方法を示す。
提案手法を,事前リスク評価器のランダム化制御試験から得られたデータに適用する。
AIレコメンデーションは、キャッシュベイルを課す裁判官の決定の分類精度を向上しない。
我々の分析は、AIが単独で行う決定は、AI支援の有無にかかわらず、人間の決定よりも一般的に悪い結果をもたらすことを示している。
最後に、AIレコメンデーションは、非白人の逮捕者に対して、白人の逮捕者よりも頻繁に現金の保釈を課す傾向にある。
関連論文リスト
- Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。
意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。
人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
論文 参考訳(メタデータ) (2024-03-25T14:34:06Z) - Learning to Make Adherence-Aware Advice [8.419688203654948]
本稿では,人間の従順性を考慮した逐次意思決定モデルを提案する。
最適なアドバイスポリシーを学習し、重要なタイムスタンプでのみアドバイスを行う学習アルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-10-01T23:15:55Z) - Using AI Uncertainty Quantification to Improve Human Decision-Making [14.878886078377562]
AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。
2つのオンライン行動実験において、厳格なスコアリングルールを用いて、事例レベルのUQにおける人的意思決定への影響を評価した。
論文 参考訳(メタデータ) (2023-09-19T18:01:25Z) - Training Towards Critical Use: Learning to Situate AI Predictions
Relative to Human Knowledge [22.21959942886099]
我々は、人間がAIモデルでは利用できない知識に対してAI予測をシチュレートする能力を集中させる「クリティカルユース」と呼ばれるプロセス指向の適切な依存の概念を紹介します。
我々は、児童虐待スクリーニングという複雑な社会的意思決定環境でランダム化オンライン実験を行う。
参加者にAIによる意思決定を実践する、迅速で低い機会を提供することによって、初心者は、経験豊富な労働者に類似したAIとの不一致のパターンを示すようになった。
論文 参考訳(メタデータ) (2023-08-30T01:54:31Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳(メタデータ) (2023-02-13T16:44:44Z) - Should I Follow AI-based Advice? Measuring Appropriate Reliance in
Human-AI Decision-Making [0.0]
私たちは、人間がAIアドバイスを盲目的に頼らず、その品質を区別し、より良い意思決定を行うために行動できるようにすることを目標としています。
現在の研究では、ケースバイケースベースでAIアドバイスに対する適切な信頼(AR)の基準が欠如している。
我々は、ARをアドバイス品質を識別し、それに応じて振る舞う能力を測定する2次元構成体として見ることを提案する。
論文 参考訳(メタデータ) (2022-04-14T12:18:51Z) - The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations [6.652641137999891]
説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
論文 参考訳(メタデータ) (2022-02-16T22:02:09Z) - Indecision Modeling [50.00689136829134]
AIシステムは人間の価値観に合わせて行動することが重要である。
人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
論文 参考訳(メタデータ) (2020-12-15T18:32:37Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳(メタデータ) (2020-02-19T07:27:32Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。