論文の概要: Using AI Uncertainty Quantification to Improve Human Decision-Making
- arxiv url: http://arxiv.org/abs/2309.10852v1
- Date: Tue, 19 Sep 2023 18:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 18:15:56.548025
- Title: Using AI Uncertainty Quantification to Improve Human Decision-Making
- Title（参考訳）: 人間の意思決定を改善するAI不確かさの定量化
- Authors: Laura R. Marusich, Jonathan Z. Bakdash, Yan Zhou, Murat Kantarcioglu
- Abstract要約: AI不確実性定量化(UQ)は、AI予測だけでなく、人間の意思決定を改善する可能性がある。
3つの実データセットに対してインスタンスベースのUQを実装します。
我々は、UQを含むさまざまなAI情報条件下での客観的な人間の意思決定性能を比較した。
- 参考スコア（独自算出の注目度）: 14.878886078377562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI Uncertainty Quantification (UQ) has the potential to improve human
decision-making beyond AI predictions alone by providing additional useful
probabilistic information to users. The majority of past research on AI and
human decision-making has concentrated on model explainability and
interpretability. We implemented instance-based UQ for three real datasets. To
achieve this, we trained different AI models for classification for each
dataset, and used random samples generated around the neighborhood of the given
instance to create confidence intervals for UQ. The computed UQ was calibrated
using a strictly proper scoring rule as a form of quality assurance for UQ. We
then conducted two preregistered online behavioral experiments that compared
objective human decision-making performance under different AI information
conditions, including UQ. In Experiment 1, we compared decision-making for no
AI (control), AI prediction alone, and AI prediction with a visualization of
UQ. We found UQ significantly improved decision-making beyond the other two
conditions. In Experiment 2, we focused on comparing different representations
of UQ information: Point vs. distribution of uncertainty and visualization type
(needle vs. dotplot). We did not find meaningful differences in decision-making
performance among these different representations of UQ. Overall, our results
indicate that human decision-making can be improved by providing UQ information
along with AI predictions, and that this benefit generalizes across a variety
of representations of UQ.
- Abstract（参考訳）: AI不確実性定量化(UQ)は、AI予測以外の人間の意思決定を改善する可能性がある。
AIと人間の意思決定に関する過去の研究の大部分は、モデル説明可能性と解釈可能性に集中してきた。
3つの実データセットに対してインスタンスベースのUQを実装した。
これを達成するために、各データセットの分類のための異なるAIモデルをトレーニングし、与えられたインスタンスの近傍で生成されたランダムサンプルを使用して、UQの信頼区間を作成しました。
計算されたUQは、UQの品質保証の一形態として厳密に適切なスコアリングルールを用いて校正された。
次に、uqを含む異なるai情報条件下で客観的な意思決定性能を比較する2つの事前登録されたオンライン行動実験を行った。
実験1では、AI(コントロール)なしの意思決定、AI予測単独、AI予測とUQの可視化を比較した。
UQは、他の2つの条件を超えて意思決定を大幅に改善した。
実験2では、異なるUQ情報の表現の比較に焦点をあてた:不確実性の分布と可視化のタイプ(ニードル対ドットプロット)。
uqの異なる表現間で,意思決定性能に有意な差は認められなかった。
全体としては、AI予測と共にUQ情報を提供することで、人間の意思決定を改善することができ、それによって様々なUQの表現を一般化できることを示す。
関連論文リスト
- Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
論文 参考訳（メタデータ） (2024-03-18T01:04:52Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Understanding the Role of Human Intuition on Reliance in Human-AI
Decision-Making with Explanations [44.01143305912054]
意思決定者の直感がAI予測と説明の使用に与える影響について検討する。
以上の結果から,AIの予測と説明に関する3種類の直観が明らかになった。
これらの経路を用いて、なぜ機能に基づく説明が参加者の決定結果を改善しなかったのかを説明し、AIへの依存度を高めた。
論文 参考訳（メタデータ） (2023-01-18T01:33:50Z) - The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations [6.652641137999891]
説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
論文 参考訳（メタデータ） (2022-02-16T22:02:09Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。
あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。
我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
論文 参考訳（メタデータ） (2020-06-19T15:46:13Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。