論文の概要: Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies
- arxiv url: http://arxiv.org/abs/2403.12108v3
- Date: Fri, 11 Oct 2024 23:05:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 17:54:18.730886
- Title: Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies
- Title(参考訳): AIは人間がより良い判断を下すのに役立つか? 実験および観察研究のための統計的評価フレームワーク
- Authors: Eli Ben-Michael, D. James Greiner, Melody Huang, Kosuke Imai, Zhichao Jiang, Sooahn Shin,
- Abstract要約: 我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
- 参考スコア(独自算出の注目度): 0.43981305860983716
- License:
- Abstract: The use of Artificial Intelligence (AI), or more generally data-driven algorithms, has become ubiquitous in today's society. Yet, in many cases and especially when stakes are high, humans still make final decisions. The critical question, therefore, is whether AI helps humans make better decisions compared to a human-alone or AI-alone system. We introduce a new methodological framework to empirically answer this question with a minimal set of assumptions. We measure a decision maker's ability to make correct decisions using standard classification metrics based on the baseline potential outcome. We consider a single-blinded and unconfounded treatment assignment, where the provision of AI-generated recommendations is assumed to be randomized across cases with humans making final decisions. Under this study design, we show how to compare the performance of three alternative decision-making systems--human-alone, human-with-AI, and AI-alone. Importantly, the AI-alone system includes any individualized treatment assignment, including those that are not used in the original study. We also show when AI recommendations should be provided to a human-decision maker, and when one should follow such recommendations. We apply the proposed methodology to our own randomized controlled trial evaluating a pretrial risk assessment instrument. We find that the risk assessment recommendations do not improve the classification accuracy of a judge's decision to impose cash bail. Furthermore, we find that replacing a human judge with algorithms--the risk assessment score and a large language model in particular--leads to a worse classification performance.
- Abstract(参考訳): 人工知能(AI)、あるいはより一般的にデータ駆動型アルゴリズムの使用は、今日の社会においてユビキタスになりつつある。
しかし、多くの場合、特に利害関係が高い場合、人間は最終的な決定を下す。
したがって、重要な疑問は、AIが人間単独のシステムやAI単独のシステムと比較して、人間のより良い意思決定を支援するかどうかである。
我々はこの疑問に最小限の仮定で経験的に答える新しい方法論的枠組みを導入する。
我々は、基準となる潜在的な結果に基づいて、標準分類基準を用いて正しい意思決定を行う意思決定者の能力を測定する。
我々は、AI生成レコメンデーションの提供が最終決定を下す場合のランダム化を前提とした、単一盲検で未確立な治療課題について検討する。
本研究では,人間とAI,AIを併用した3つの意思決定システムの性能を比較した。
重要なのは、AI-aloneシステムには、オリジナルの研究で使用されていないものを含む、個別化された治療課題が含まれていることだ。
また、AIレコメンデーションが人間の意思決定者に提供するべき時期と、そのようなレコメンデーションに従うべき時期も示します。
提案手法を我々のランダム化制御試験に適用し, 臨床リスク評価装置の評価を行った。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
さらに,リスク評価スコアや大規模言語モデルなど,人間の判断をアルゴリズムに置き換えることによって,分類性能が悪化することが判明した。
関連論文リスト
- Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳(メタデータ) (2024-07-03T15:38:57Z) - Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。
意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。
人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
論文 参考訳(メタデータ) (2024-03-25T14:34:06Z) - Learning to Make Adherence-Aware Advice [8.419688203654948]
本稿では,人間の従順性を考慮した逐次意思決定モデルを提案する。
最適なアドバイスポリシーを学習し、重要なタイムスタンプでのみアドバイスを行う学習アルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-10-01T23:15:55Z) - Using AI Uncertainty Quantification to Improve Human Decision-Making [14.878886078377562]
AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。
2つのオンライン行動実験において、厳格なスコアリングルールを用いて、事例レベルのUQにおける人的意思決定への影響を評価した。
論文 参考訳(メタデータ) (2023-09-19T18:01:25Z) - Training Towards Critical Use: Learning to Situate AI Predictions
Relative to Human Knowledge [22.21959942886099]
我々は、人間がAIモデルでは利用できない知識に対してAI予測をシチュレートする能力を集中させる「クリティカルユース」と呼ばれるプロセス指向の適切な依存の概念を紹介します。
我々は、児童虐待スクリーニングという複雑な社会的意思決定環境でランダム化オンライン実験を行う。
参加者にAIによる意思決定を実践する、迅速で低い機会を提供することによって、初心者は、経験豊富な労働者に類似したAIとの不一致のパターンを示すようになった。
論文 参考訳(メタデータ) (2023-08-30T01:54:31Z) - Should I Follow AI-based Advice? Measuring Appropriate Reliance in
Human-AI Decision-Making [0.0]
私たちは、人間がAIアドバイスを盲目的に頼らず、その品質を区別し、より良い意思決定を行うために行動できるようにすることを目標としています。
現在の研究では、ケースバイケースベースでAIアドバイスに対する適切な信頼(AR)の基準が欠如している。
我々は、ARをアドバイス品質を識別し、それに応じて振る舞う能力を測定する2次元構成体として見ることを提案する。
論文 参考訳(メタデータ) (2022-04-14T12:18:51Z) - The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations [6.652641137999891]
説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
論文 参考訳(メタデータ) (2022-02-16T22:02:09Z) - Indecision Modeling [50.00689136829134]
AIシステムは人間の価値観に合わせて行動することが重要である。
人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
論文 参考訳(メタデータ) (2020-12-15T18:32:37Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳(メタデータ) (2020-02-19T07:27:32Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。