論文の概要: Training Towards Critical Use: Learning to Situate AI Predictions Relative to Human Knowledge

• arxiv url: http://arxiv.org/abs/2308.15700v1
• Date: Wed, 30 Aug 2023 01:54:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 15:15:52.426771
• Title: Training Towards Critical Use: Learning to Situate AI Predictions Relative to Human Knowledge
• Title（参考訳）: 批判的利用を目指すトレーニング:AI予測を人間の知識に関連付けるための学習
• Authors: Anna Kawakami, Luke Guerdan, Yanghuidi Cheng, Matthew Lee, Scott Carter, Nikos Arechiga, Kate Glazko, Haiyi Zhu, Kenneth Holstein
• Abstract要約: 我々は、人間がAIモデルでは利用できない知識に対してAI予測をシチュレートする能力を集中させる「クリティカルユース」と呼ばれるプロセス指向の適切な依存の概念を紹介します。 我々は、児童虐待スクリーニングという複雑な社会的意思決定環境でランダム化オンライン実験を行う。 参加者にAIによる意思決定を実践する、迅速で低い機会を提供することによって、初心者は、経験豊富な労働者に類似したAIとの不一致のパターンを示すようになった。
• 参考スコア（独自算出の注目度）: 22.21959942886099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A growing body of research has explored how to support humans in making better use of AI-based decision support, including via training and onboarding. Existing research has focused on decision-making tasks where it is possible to evaluate "appropriate reliance" by comparing each decision against a ground truth label that cleanly maps to both the AI's predictive target and the human decision-maker's goals. However, this assumption does not hold in many real-world settings where AI tools are deployed today (e.g., social work, criminal justice, and healthcare). In this paper, we introduce a process-oriented notion of appropriate reliance called critical use that centers the human's ability to situate AI predictions against knowledge that is uniquely available to them but unavailable to the AI model. To explore how training can support critical use, we conduct a randomized online experiment in a complex social decision-making setting: child maltreatment screening. We find that, by providing participants with accelerated, low-stakes opportunities to practice AI-assisted decision-making in this setting, novices came to exhibit patterns of disagreement with AI that resemble those of experienced workers. A qualitative examination of participants' explanations for their AI-assisted decisions revealed that they drew upon qualitative case narratives, to which the AI model did not have access, to learn when (not) to rely on AI predictions. Our findings open new questions for the study and design of training for real-world AI-assisted decision-making.
• Abstract（参考訳）: 成長する研究機関は、トレーニングや搭乗を含むAIベースの意思決定サポートをよりうまく活用する上で、人間をサポートする方法を模索してきた。 既存の研究は、AIの予測目標と人間の意思決定者の目標の両方にきれいにマッピングする基底真理ラベルに対して、それぞれの決定を比較して「適切な信頼」を評価できる意思決定タスクに焦点を当てている。 しかし、この仮定は、現在のAIツール(例えば、社会労働、刑事司法、医療)が配備されている現実世界の多くの環境には当てはまらない。 本稿では,AIモデルでは利用できない知識に対して,人間のAI予測を満足させる能力を中心とした,クリティカルユースというプロセス指向の適切な依存概念を紹介する。 批判的利用を支援するために、我々は複雑な社会的意思決定環境でランダムにオンライン実験を行い、児童虐待のスクリーニングを行う。 この環境でAIによる意思決定を実践する、迅速で低い機会を参加者に提供することで、初心者は経験豊富な労働者と似たAIとの相違パターンを示すようになった。 参加者のAI支援決定に対する説明の質的な検証では、AIモデルがアクセスできない定性的なケースナラティブに基づいて、AI予測にいつ依存するかを学習することが判明した。 我々の発見は、現実世界のAI支援意思決定のためのトレーニングの研究と設計のための新しい質問を開いている。

関連論文リスト

• Utilizing Human Behavior Modeling to Manipulate Explanations in AI-Assisted Decision Making: The Good, the Bad, and the Scary [19.884253335528317]
  AIモデルの最近の進歩は、人間の意思決定プロセスへのAIベースの意思決定支援の統合を高めている。 AIによる意思決定の可能性を完全に解き放つために、研究者たちは、人間がAIレコメンデーションを最終決定にどのように組み込むかをコンピュータでモデル化した。 より適切にAIレコメンデーションに頼れるように、人間の意思決定者にAIの説明を提供することは、一般的な慣習となっている。
  論文  参考訳（メタデータ） (2024-11-02T18:33:28Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making [47.33241893184721]
  AIによる意思決定において、人間はしばしばAIの提案を受動的にレビューし、それを受け入れるか拒否するかを決定する。 意思決定における人間-AIの意見の対立に関する議論と人間のリフレクションを促進する新しい枠組みであるHuman-AI Deliberationを提案する。 人間の熟考の理論に基づいて、この枠組みは人間とAIを次元レベルの意見の引用、熟考的議論、意思決定の更新に携わる。
  論文  参考訳（メタデータ） (2024-03-25T14:34:06Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making [4.877174544937129]
  AIによる意思決定支援ツールによってサポートされる人々は、しばしばAIに過度に依存します。 AIの決定に説明を加えることは、過度な信頼を減らすものではありません。 我々の研究は、人間の認知モチベーションが説明可能なAIソリューションの有効性を損なうことを示唆している。
  論文  参考訳（メタデータ） (2021-02-19T00:38:53Z)
• The human-AI relationship in decision-making: AI explanation to support people on justifying their decisions [4.169915659794568]
  人々は、AIがどのように機能するか、そしてそのシステムとの関係を構築するために、その成果をもっと意識する必要があります。 意思決定のシナリオでは、人々はAIがどのように機能するか、そしてそのシステムとの関係を構築する結果についてもっと意識する必要があります。
  論文  参考訳（メタデータ） (2021-02-10T14:28:34Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。