論文の概要: A Diachronic Perspective on User Trust in AI under Uncertainty

• arxiv url: http://arxiv.org/abs/2310.13544v1
• Date: Fri, 20 Oct 2023 14:41:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 22:34:07.132306
• Title: A Diachronic Perspective on User Trust in AI under Uncertainty
• Title（参考訳）: 不確実性下におけるAIのユーザ信頼に関するダイアクロニックな視点
• Authors: Shehzaad Dhuliawala, Vil\'em Zouhar, Mennatallah El-Assady, Mrinmaya Sachan
• Abstract要約: 現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
• 参考スコア（独自算出の注目度）: 52.44939679369428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a human-AI collaboration, users build a mental model of the AI system based on its reliability and how it presents its decision, e.g. its presentation of system confidence and an explanation of the output. Modern NLP systems are often uncalibrated, resulting in confidently incorrect predictions that undermine user trust. In order to build trustworthy AI, we must understand how user trust is developed and how it can be regained after potential trust-eroding events. We study the evolution of user trust in response to these trust-eroding events using a betting game. We find that even a few incorrect instances with inaccurate confidence estimates damage user trust and performance, with very slow recovery. We also show that this degradation in trust reduces the success of human-AI collaboration and that different types of miscalibration -- unconfidently correct and confidently incorrect -- have different negative effects on user trust. Our findings highlight the importance of calibration in user-facing AI applications and shed light on what aspects help users decide whether to trust the AI system.
• Abstract（参考訳）: 人間とAIのコラボレーションでは、ユーザーはその信頼性と、システム信頼性の提示やアウトプットの説明などに基づいて、AIシステムのメンタルモデルを構築する。 現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 信頼に足るAIを構築するためには、ユーザ信頼がどのように開発され、信頼を損なう可能性のあるイベントの後、どのように回復できるかを理解する必要がある。 ベッティングゲームを用いて,これらの信頼を損なうイベントに対するユーザの信頼の進化について検討する。 不正確な信頼性を持ついくつかの不正確なインスタンスでさえ、ユーザの信頼とパフォーマンスを損なうことが分かっています。 また、この信頼の低下は、人間とaiのコラボレーションの成功を減少させ、異なるタイプのミスキャリブレーション(確固たる正確さと自信の欠如)がユーザーの信頼に異なる悪影響を及ぼすことも示しています。 我々の発見は、ユーザー向けAIアプリケーションにおける校正の重要性を強調し、ユーザーがAIシステムを信頼するかどうかを決めるのにどのような側面が役立つかを明らかにした。

関連論文リスト

• Fostering Trust and Quantifying Value of AI and ML [0.0]
  AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。 より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
  論文  参考訳（メタデータ） (2024-07-08T13:25:28Z)
• Overconfident and Unconfident AI Hinder Human-AI Collaboration [5.480154202794587]
  本研究は,AIに対するユーザの信頼度,AIアドバイスの採用,コラボレーション結果に及ぼすAI信頼度の影響について検討する。 信頼度調整支援の欠如は、未調整の信頼度の検出を困難にすることでこの問題を悪化させる。 我々の研究は、人間とAIのコラボレーションを強化するためのAI信頼度校正の重要性を強調した。
  論文  参考訳（メタデータ） (2024-02-12T13:16:30Z)
• Designing for Responsible Trust in AI Systems: A Communication Perspective [56.80107647520364]
  我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
  論文  参考訳（メタデータ） (2022-04-29T00:14:33Z)
• Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI [55.4046755826066]
  我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。 ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。 我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
  論文  参考訳（メタデータ） (2020-10-15T03:07:23Z)
• Where Does Trust Break Down? A Quantitative Trust Analysis of Deep Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
  本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。 信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。 我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
  論文  参考訳（メタデータ） (2020-09-30T14:33:43Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)
• Towards Time-Aware Context-Aware Deep Trust Prediction in Online Social Networks [0.4061135251278187]
  信頼は、情報ソースが信頼できるか、誰と共有すべきか、誰から情報を受け入れるべきかを決定する尺度として定義できる。 ソーシャルスパマー検出、フェイクニュース検出、リツイート行動検出、レコメンデーションシステムなど、オンラインソーシャルネットワーク(OSN)への信頼のためのいくつかのアプリケーションがある。 信頼予測は、現在接続されていない2人のユーザー間の新しい信頼関係を予測するプロセスである。
  論文  参考訳（メタデータ） (2020-03-21T01:00:02Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。