論文の概要: The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations
- arxiv url: http://arxiv.org/abs/2202.08979v1
- Date: Wed, 16 Feb 2022 22:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 14:36:54.296362
- Title: The Response Shift Paradigm to Quantify Human Trust in AI
Recommendations
- Title(参考訳): AIレコメンデーションにおける人間信頼の定量化のための反応シフトパラダイム
- Authors: Ali Shafti, Victoria Derks, Hannah Kay, A. Aldo Faisal
- Abstract要約: 説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
- 参考スコア(独自算出の注目度): 6.652641137999891
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability, interpretability and how much they affect human trust in AI
systems are ultimately problems of human cognition as much as machine learning,
yet the effectiveness of AI recommendations and the trust afforded by end-users
are typically not evaluated quantitatively. We developed and validated a
general purpose Human-AI interaction paradigm which quantifies the impact of AI
recommendations on human decisions. In our paradigm we confronted human users
with quantitative prediction tasks: asking them for a first response, before
confronting them with an AI's recommendations (and explanation), and then
asking the human user to provide an updated final response. The difference
between final and first responses constitutes the shift or sway in the human
decision which we use as metric of the AI's recommendation impact on the human,
representing the trust they place on the AI. We evaluated this paradigm on
hundreds of users through Amazon Mechanical Turk using a multi-branched
experiment confronting users with good/poor AI systems that had good, poor or
no explainability. Our proof-of-principle paradigm allows one to quantitatively
compare the rapidly growing set of XAI/IAI approaches in terms of their effect
on the end-user and opens up the possibility of (machine) learning trust.
- Abstract(参考訳): 説明可能性、解釈可能性、そしてそれらがAIシステムにおける人間の信頼にどの程度影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。
我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。
我々のパラダイムでは、人間のユーザに対して、最初の応答を尋ね、AIのレコメンデーション(と説明)と向き合う前に、人間のユーザに対して、最終応答を更新するように求めました。
最終応答と第一応答の違いは、AIが人間に推奨する影響の指標として使用する、AI上の信頼を表す人間の決定のシフトまたは揺れを構成する。
私たちはこのパラダイムをamazon mechanical turkを通じて数百人のユーザを対象に評価し、優れた、貧弱な、あるいは説明のできないaiシステムを持つユーザと対決するマルチブランチ実験を実施しました。
我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較し、(機械)学習信頼の可能性を高める。
関連論文リスト
- Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳(メタデータ) (2023-01-06T00:33:08Z) - On the Effect of Information Asymmetry in Human-AI Teams [0.0]
我々は、人間とAIの相補的ポテンシャルの存在に焦点を当てる。
具体的には、情報非対称性を相補性ポテンシャルの必須源とみなす。
オンライン実験を行うことで、人間がそのような文脈情報を使ってAIの決定を調整できることを実証する。
論文 参考訳(メタデータ) (2022-05-03T13:02:50Z) - Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs
for Centaurs [22.52332536886295]
本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。
このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。
我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
論文 参考訳(メタデータ) (2022-04-03T21:00:51Z) - Uncalibrated Models Can Improve Human-AI Collaboration [10.106324182884068]
私たちは、AIモデルを実際によりも自信を持って提示することで、人間-AIのパフォーマンスが向上することを示した。
私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。
論文 参考訳(メタデータ) (2022-02-12T04:51:00Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳(メタデータ) (2021-07-28T17:32:04Z) - Do Humans Trust Advice More if it Comes from AI? An Analysis of Human-AI
Interactions [8.785345834486057]
人間は、仲間の人間のグループからの同等の提案に対して、AIの提案をどのように利用するかの特徴付けをする。
特定のタスクにおける人間対AIのパフォーマンスに対する参加者の信念が、アドバイスをハイドするかどうかに影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2021-07-14T21:33:14Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳(メタデータ) (2021-07-12T14:21:46Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。