論文の概要: Role of Human-AI Interaction in Selective Prediction
- arxiv url: http://arxiv.org/abs/2112.06751v1
- Date: Mon, 13 Dec 2021 16:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 19:14:11.401366
- Title: Role of Human-AI Interaction in Selective Prediction
- Title（参考訳）: 選択予測における人間とAIの相互作用の役割
- Authors: Elizabeth Bondi, Raphael Koster, Hannah Sheahan, Martin Chadwick,
Yoram Bachrach, Taylan Cemgil, Ulrich Paquet, Krishnamurthy Dvijotham
- Abstract要約: 我々は、AIシステムの遅延決定について、異なる種類の情報を人間に伝達する影響について研究する。
我々は,AIの予測は明らかにせず,遅延する決定を人間に伝えることで,人間のパフォーマンスを大幅に向上させることが可能であることを示す。
- 参考スコア（独自算出の注目度）: 20.11364033416315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown the potential benefit of selective prediction systems
that can learn to defer to a human when the predictions of the AI are
unreliable, particularly to improve the reliability of AI systems in
high-stakes applications like healthcare or conservation. However, most prior
work assumes that human behavior remains unchanged when they solve a prediction
task as part of a human-AI team as opposed to by themselves. We show that this
is not the case by performing experiments to quantify human-AI interaction in
the context of selective prediction. In particular, we study the impact of
communicating different types of information to humans about the AI system's
decision to defer. Using real-world conservation data and a selective
prediction system that improves expected accuracy over that of the human or AI
system working individually, we show that this messaging has a significant
impact on the accuracy of human judgements. Our results study two components of
the messaging strategy: 1) Whether humans are informed about the prediction of
the AI system and 2) Whether they are informed about the decision of the
selective prediction system to defer. By manipulating these messaging
components, we show that it is possible to significantly boost human
performance by informing the human of the decision to defer, but not revealing
the prediction of the AI. We therefore show that it is vital to consider how
the decision to defer is communicated to a human when designing selective
prediction systems, and that the composite accuracy of a human-AI team must be
carefully evaluated using a human-in-the-loop framework.
- Abstract（参考訳）: 最近の研究は、AIの予測が信頼できないとき、特に医療や保護のような高度なアプリケーションにおけるAIシステムの信頼性を向上させるために、人間に遅延する選択予測システムの潜在的な利点を示している。
しかしながら、多くの先行研究は、人間-AIチームの一部として予測タスクを解決した際、人間による行動は変化しないと仮定している。
我々は,人間とAIの相互作用を選択的予測の文脈で定量化する実験を行うことによって,このような現象は起こらないことを示した。
特に、推論するaiシステムの決定について人間に異なる種類の情報を伝えることが与える影響について検討する。
実世界の保全データと、人間やAIシステムよりも期待される精度を個別に向上する選択的予測システムを用いて、このメッセージングが人間の判断の正確性に大きな影響を与えることを示す。
我々の結果はメッセージング戦略の2つの要素について研究した。
1)AIシステムの予測について人間に知らせるか否かと
2)延期する選択予測システムの決定について通知されるか否か。
これらのメッセージコンポーネントを操作することで、人間に遅延を知らせ、AIの予測を明かさないことで、人間のパフォーマンスを大幅に向上させることができることを示す。
そこで我々は,選択予測システムの設計において,遅延決定が人間にどのように伝達されるかを検討することが不可欠であり,人間-AIチームの合成精度を,ループ内フレームワークを用いて慎重に評価する必要があることを示す。
関連論文リスト
- Predictable Artificial Intelligence [77.1127726638209]
本稿では予測可能なAIのアイデアと課題を紹介する。
それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
論文 参考訳（メタデータ） (2023-10-09T21:36:21Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - A Cognitive Framework for Delegation Between Error-Prone AI and Human
Agents [0.0]
本研究では,認知にインスパイアされた行動モデルを用いて,人間エージェントとAIエージェントの両方の行動を予測する。
予測された振る舞いは、仲介者の使用を通じて人間とAIエージェントの制御を委譲するために使用される。
論文 参考訳（メタデータ） (2022-04-06T15:15:21Z) - The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations [6.652641137999891]
説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
論文 参考訳（メタデータ） (2022-02-16T22:02:09Z) - Uncalibrated Models Can Improve Human-AI Collaboration [10.106324182884068]
私たちは、AIモデルを実際によりも自信を持って提示することで、人間-AIのパフォーマンスが向上することを示した。
私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。
論文 参考訳（メタデータ） (2022-02-12T04:51:00Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
本稿では,人間の動作予測のための確率モデルを提案する。
我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。
我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2021-07-14T09:05:33Z) - Learning Models of Individual Behavior in Chess [4.793072503820555]
チェスにおける個人行動の高精度な予測モデルを構築した。
私たちの研究は、AIシステムを個人の行動とよりよく一致させる方法を示しています。
論文 参考訳（メタデータ） (2020-08-23T18:24:21Z) - Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。
あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。
我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
論文 参考訳（メタデータ） (2020-06-19T15:46:13Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳（メタデータ） (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。