論文の概要: Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies

• arxiv url: http://arxiv.org/abs/2403.12108v3
• Date: Fri, 11 Oct 2024 23:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 17:54:18.730886
• Title: Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies
• Title（参考訳）: AIは人間がより良い判断を下すのに役立つか? 実験および観察研究のための統計的評価フレームワーク
• Authors: Eli Ben-Michael, D. James Greiner, Melody Huang, Kosuke Imai, Zhichao Jiang, Sooahn Shin,
• Abstract要約: 我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
• 参考スコア（独自算出の注目度）: 0.43981305860983716
• License:
• Abstract: The use of Artificial Intelligence (AI), or more generally data-driven algorithms, has become ubiquitous in today's society. Yet, in many cases and especially when stakes are high, humans still make final decisions. The critical question, therefore, is whether AI helps humans make better decisions compared to a human-alone or AI-alone system. We introduce a new methodological framework to empirically answer this question with a minimal set of assumptions. We measure a decision maker's ability to make correct decisions using standard classification metrics based on the baseline potential outcome. We consider a single-blinded and unconfounded treatment assignment, where the provision of AI-generated recommendations is assumed to be randomized across cases with humans making final decisions. Under this study design, we show how to compare the performance of three alternative decision-making systems--human-alone, human-with-AI, and AI-alone. Importantly, the AI-alone system includes any individualized treatment assignment, including those that are not used in the original study. We also show when AI recommendations should be provided to a human-decision maker, and when one should follow such recommendations. We apply the proposed methodology to our own randomized controlled trial evaluating a pretrial risk assessment instrument. We find that the risk assessment recommendations do not improve the classification accuracy of a judge's decision to impose cash bail. Furthermore, we find that replacing a human judge with algorithms--the risk assessment score and a large language model in particular--leads to a worse classification performance.
• Abstract（参考訳）: 人工知能(AI)、あるいはより一般的にデータ駆動型アルゴリズムの使用は、今日の社会においてユビキタスになりつつある。 しかし、多くの場合、特に利害関係が高い場合、人間は最終的な決定を下す。 したがって、重要な疑問は、AIが人間単独のシステムやAI単独のシステムと比較して、人間のより良い意思決定を支援するかどうかである。 我々はこの疑問に最小限の仮定で経験的に答える新しい方法論的枠組みを導入する。 我々は、基準となる潜在的な結果に基づいて、標準分類基準を用いて正しい意思決定を行う意思決定者の能力を測定する。 我々は、AI生成レコメンデーションの提供が最終決定を下す場合のランダム化を前提とした、単一盲検で未確立な治療課題について検討する。 本研究では,人間とAI,AIを併用した3つの意思決定システムの性能を比較した。 重要なのは、AI-aloneシステムには、オリジナルの研究で使用されていないものを含む、個別化された治療課題が含まれていることだ。 また、AIレコメンデーションが人間の意思決定者に提供するべき時期と、そのようなレコメンデーションに従うべき時期も示します。 提案手法を我々のランダム化制御試験に適用し, 臨床リスク評価装置の評価を行った。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。 さらに,リスク評価スコアや大規模言語モデルなど,人間の判断をアルゴリズムに置き換えることによって,分類性能が悪化することが判明した。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Learning to Make Adherence-Aware Advice [8.419688203654948]
  本稿では,人間の従順性を考慮した逐次意思決定モデルを提案する。 最適なアドバイスポリシーを学習し、重要なタイムスタンプでのみアドバイスを行う学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-10-01T23:15:55Z)
• Using AI Uncertainty Quantification to Improve Human Decision-Making [14.878886078377562]
  AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。 2つのオンライン行動実験において、厳格なスコアリングルールを用いて、事例レベルのUQにおける人的意思決定への影響を評価した。
  論文  参考訳（メタデータ） (2023-09-19T18:01:25Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Algorithmic Assistance with Recommendation-Dependent Preferences [2.864550757598007]
  選択に影響を及ぼすアルゴリズムレコメンデーションの効果と設計について考察する。 我々は、レコメンデーションに依存した選好が、意思決定者がレコメンデーションに過度に反応する非効率性を生み出すことを示す。
  論文  参考訳（メタデータ） (2022-08-16T09:24:47Z)
• Randomized Classifiers vs Human Decision-Makers: Trustworthy AI May Have to Act Randomly and Society Seems to Accept This [0.8889304968879161]
  我々は、人的決定に似て、人工エージェントの判断は必然的に道徳的な原則に根ざすべきであると感じている。 しかし、意思決定者が真に倫理的(倫理的理論に基づく)かつ公正(公平性の概念による)な決定を行うことができるのは、決定を根拠とするすべての関連する要因に関する完全な情報が意思決定時に利用可能である場合のみである。
  論文  参考訳（メタデータ） (2021-11-15T05:39:02Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores [85.12096045419686]
  本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。 まず、ツールがデプロイされたときに人間が行動を変えることを示します。 表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
  論文  参考訳（メタデータ） (2020-02-19T07:27:32Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。