論文の概要: On the Interdependence of Reliance Behavior and Accuracy in AI-Assisted Decision-Making

• arxiv url: http://arxiv.org/abs/2304.08804v1
• Date: Tue, 18 Apr 2023 08:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 15:48:17.446658
• Title: On the Interdependence of Reliance Behavior and Accuracy in AI-Assisted Decision-Making
• Title（参考訳）: AIによる意思決定における信頼行動と精度の相互依存性について
• Authors: Jakob Schoeffer, Johannes Jakubik, Michael Voessing, Niklas Kuehl, Gerhard Satzger
• Abstract要約: 我々は,AIによる意思決定における信頼行動と精度の相互依存性を分析する。 この相互依存をより具体化するための視覚的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In AI-assisted decision-making, a central promise of putting a human in the loop is that they should be able to complement the AI system by adhering to its correct and overriding its mistaken recommendations. In practice, however, we often see that humans tend to over- or under-rely on AI recommendations, meaning that they either adhere to wrong or override correct recommendations. Such reliance behavior is detrimental to decision-making accuracy. In this work, we articulate and analyze the interdependence between reliance behavior and accuracy in AI-assisted decision-making, which has been largely neglected in prior work. We also propose a visual framework to make this interdependence more tangible. This framework helps us interpret and compare empirical findings, as well as obtain a nuanced understanding of the effects of interventions (e.g., explanations) in AI-assisted decision-making. Finally, we infer several interesting properties from the framework: (i) when humans under-rely on AI recommendations, there may be no possibility for them to complement the AI in terms of decision-making accuracy; (ii) when humans cannot discern correct and wrong AI recommendations, no such improvement can be expected either; (iii) interventions may lead to an increase in decision-making accuracy that is solely driven by an increase in humans' adherence to AI recommendations, without any ability to discern correct and wrong. Our work emphasizes the importance of measuring and reporting both effects on accuracy and reliance behavior when empirically assessing interventions.
• Abstract（参考訳）: AIによる意思決定では、人間をループに入れるという中心的な約束は、AIシステムを正しいものにすることで補完し、誤った推奨を覆すことである。 しかし実際には、人間はAIレコメンデーションを過度に、あるいは過小評価する傾向にあるのがよく見られ、それは間違ったレコメンデーションに固執するか、正しいレコメンデーションをオーバーライドすることを意味する。 このような信頼行動は意思決定の正確さを損なう。 本研究では,AIを用いた意思決定において,依存行動と精度の相互依存性を明確化し,分析する。 また,この相互依存をより具体化するためのビジュアルフレームワークを提案する。 このフレームワークは、経験的発見を解釈し比較し、ai支援意思決定における介入(説明など)の効果を微妙な理解を得るのに役立つ。 最後に、フレームワークからいくつかの興味深い特性を推測する。 i) 人間がAIレコメンデーションを過小評価する場合,意思決定の正確性の観点からAIを補完する可能性はない。 (二)人間が正しいAI勧告と間違ったAI勧告を区別できないときは、その改善も期待できない。 (iii)介入は、正しいことを判断する能力がなくても、人間のai勧告への執着が高まることのみによって引き起こされる意思決定の正確さを増加させる可能性がある。 本研究は,介入を経験的に評価する場合の精度および依存行動への影響の測定と報告の重要性を強調した。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
  AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。 意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。 人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
  論文  参考訳（メタデータ） (2024-03-25T14:34:06Z)
• Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making [48.179458030691286]
  Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。 以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。 これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
  論文  参考訳（メタデータ） (2024-03-04T07:32:28Z)
• A Decision Theoretic Framework for Measuring AI Reliance [23.353778024330165]
  人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
  論文  参考訳（メタデータ） (2024-01-27T09:13:09Z)
• Does More Advice Help? The Effects of Second Opinions in AI-Assisted Decision Making [45.20615051119694]
  我々は、AIによる意思決定における意思決定者の行動とパフォーマンスに第2の意見がどう影響するかを考察する。 AIモデルの推奨事項と第2の意見が常に一致している場合、意思決定者はAIに対する過度な信頼を減らすことができる。 もし意思決定者が、いつ仲間の第二の意見を求めるかを決めることができるならば、彼らの第二の意見の活発な勧誘は、AIに対する過度な信頼を緩和する可能性があることに気付く。
  論文  参考訳（メタデータ） (2024-01-13T12:19:01Z)
• In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making [25.18203172421461]
  説明は、人間の意思決定者がAIの予測の正しさを検証できる範囲でのみ有用である、と我々は主張する。 また、補完性能の目的と適切な依存度を比較し、後者を結果段階と戦略段階の信頼度の概念に分解する。
  論文  参考訳（メタデータ） (2023-05-12T18:28:04Z)
• Artificial Artificial Intelligence: Measuring Influence of AI 'Assessments' on Moral Decision-Making [48.66982301902923]
  ドナー腎アロケーションに関する道徳的意思決定に対する疑似AIからのフィードバックの効果を検討した。 患者が腎臓を受容器するかどうかの判断は、AIによって与えられると認識される参加者自身の意思決定に関するフィードバックに影響される可能性があるという証拠がいくつか見出された。
  論文  参考訳（メタデータ） (2020-01-13T14:15:18Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。