論文の概要: A Decision Theoretic Framework for Measuring AI Reliance

• arxiv url: http://arxiv.org/abs/2401.15356v3
• Date: Wed, 8 May 2024 18:34:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 17:49:31.987699
• Title: A Decision Theoretic Framework for Measuring AI Reliance
• Title（参考訳）: AI信頼度測定のための決定理論フレームワーク
• Authors: Ziyang Guo, Yifan Wu, Jason Hartline, Jessica Hullman,
• Abstract要約: 人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
• 参考スコア（独自算出の注目度）: 23.353778024330165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans frequently make decisions with the aid of artificially intelligent (AI) systems. A common pattern is for the AI to recommend an action to the human who retains control over the final decision. Researchers have identified ensuring that a human has appropriate reliance on an AI as a critical component of achieving complementary performance. We argue that the current definition of appropriate reliance used in such research lacks formal statistical grounding and can lead to contradictions. We propose a formal definition of reliance, based on statistical decision theory, which separates the concepts of reliance as the probability the decision-maker follows the AI's recommendation from challenges a human may face in differentiating the signals and forming accurate beliefs about the situation. Our definition gives rise to a framework that can be used to guide the design and interpretation of studies on human-AI complementarity and reliance. Using recent AI-advised decision making studies from literature, we demonstrate how our framework can be used to separate the loss due to mis-reliance from the loss due to not accurately differentiating the signals. We evaluate these losses by comparing to a baseline and a benchmark for complementary performance defined by the expected payoff achieved by a rational decision-maker facing the same decision task as the behavioral decision-makers.
• Abstract（参考訳）: 人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 一般的なパターンは、最終決定をコントロールしている人間に対して、AIがアクションを推奨することである。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 このような研究で用いられる適切な依存の定義には、正式な統計的根拠が欠如しており、矛盾を招く可能性があると論じる。 統計的決定理論に基づく信頼の形式的定義を提案する。これは、意思決定者がAIの推奨に従う確率として信頼の概念を、人間が信号の識別や状況に関する正確な信念を形成する際の課題と区別するものである。 私たちの定義は、人間とAIの相補性と信頼に関する研究の設計と解釈を導くのに使用できるフレームワークを生み出します。 文献からのAIによる最新の意思決定研究を用いて、我々のフレームワークは、信号の正確な識別ができないために、損失と損失との信頼の相違による損失を分離するためにどのように使用できるかを実証する。 これらの損失を,行動意思決定者と同じ意思決定課題に直面した合理的な意思決定者によって達成される期待された報酬によって定義される相補的性能の基準とベンチマークと比較することにより評価する。

関連論文リスト

• Causal Responsibility Attribution for Human-AI Collaboration [62.474732677086855]
  本稿では,人間のAIシステムにおける責任を体系的に評価するために,構造因果モデル(SCM)を用いた因果的枠組みを提案する。 2つのケーススタディは、多様な人間とAIのコラボレーションシナリオにおけるフレームワークの適応性を示している。
  論文  参考訳（メタデータ） (2024-11-05T17:17:45Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
  AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。 意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。 人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
  論文  参考訳（メタデータ） (2024-03-25T14:34:06Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making [25.18203172421461]
  説明は、人間の意思決定者がAIの予測の正しさを検証できる範囲でのみ有用である、と我々は主張する。 また、補完性能の目的と適切な依存度を比較し、後者を結果段階と戦略段階の信頼度の概念に分解する。
  論文  参考訳（メタデータ） (2023-05-12T18:28:04Z)
• AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions [6.356355538824237]
  私たちは、AIによる意思決定に関する現在の文献で、信頼と意思決定品質が不適切に混ざり合っていると論じています。 我々の研究は、AIによる意思決定における信頼行動と意思決定品質の区別の重要性を強調している。
  論文  参考訳（メタデータ） (2023-04-18T08:08:05Z)
• Human-AI Collaboration in Decision-Making: Beyond Learning to Defer [4.874780144224057]
  意思決定における人間-AIコラボレーション(HAIC)は、人間とAIシステム間の相乗的チームを作ることを目的としている。 Learning to Defer(L2D)は、人間とAIのどちらが決定を下すべきかを決定する、有望なフレームワークとして提示されている。 L2Dは、すべてのケースで人間からの予測が利用可能になったり、意思決定者から独立した地道なラベルが利用可能になったりするなど、しばしば実現不可能な要件がいくつか含まれている。
  論文  参考訳（メタデータ） (2022-06-27T11:40:55Z)
• Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted Decision-making [46.625616262738404]
  我々は、認知科学の分野からの知識を用いて、人間とAIの協調的な意思決定設定における認知バイアスを考慮します。 私たちは、人間とAIのコラボレーションでよく見られるバイアスであるバイアスのアンカーに特に焦点を当てています。
  論文  参考訳（メタデータ） (2020-10-15T22:25:41Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。