論文の概要: Training Towards Critical Use: Learning to Situate AI Predictions
Relative to Human Knowledge
- arxiv url: http://arxiv.org/abs/2308.15700v1
- Date: Wed, 30 Aug 2023 01:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 15:15:52.426771
- Title: Training Towards Critical Use: Learning to Situate AI Predictions
Relative to Human Knowledge
- Title(参考訳): 批判的利用を目指すトレーニング:AI予測を人間の知識に関連付けるための学習
- Authors: Anna Kawakami, Luke Guerdan, Yanghuidi Cheng, Matthew Lee, Scott
Carter, Nikos Arechiga, Kate Glazko, Haiyi Zhu, Kenneth Holstein
- Abstract要約: 我々は、人間がAIモデルでは利用できない知識に対してAI予測をシチュレートする能力を集中させる「クリティカルユース」と呼ばれるプロセス指向の適切な依存の概念を紹介します。
我々は、児童虐待スクリーニングという複雑な社会的意思決定環境でランダム化オンライン実験を行う。
参加者にAIによる意思決定を実践する、迅速で低い機会を提供することによって、初心者は、経験豊富な労働者に類似したAIとの不一致のパターンを示すようになった。
- 参考スコア(独自算出の注目度): 22.21959942886099
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A growing body of research has explored how to support humans in making
better use of AI-based decision support, including via training and onboarding.
Existing research has focused on decision-making tasks where it is possible to
evaluate "appropriate reliance" by comparing each decision against a ground
truth label that cleanly maps to both the AI's predictive target and the human
decision-maker's goals. However, this assumption does not hold in many
real-world settings where AI tools are deployed today (e.g., social work,
criminal justice, and healthcare). In this paper, we introduce a
process-oriented notion of appropriate reliance called critical use that
centers the human's ability to situate AI predictions against knowledge that is
uniquely available to them but unavailable to the AI model. To explore how
training can support critical use, we conduct a randomized online experiment in
a complex social decision-making setting: child maltreatment screening. We find
that, by providing participants with accelerated, low-stakes opportunities to
practice AI-assisted decision-making in this setting, novices came to exhibit
patterns of disagreement with AI that resemble those of experienced workers. A
qualitative examination of participants' explanations for their AI-assisted
decisions revealed that they drew upon qualitative case narratives, to which
the AI model did not have access, to learn when (not) to rely on AI
predictions. Our findings open new questions for the study and design of
training for real-world AI-assisted decision-making.
- Abstract(参考訳): 成長する研究機関は、トレーニングや搭乗を含むAIベースの意思決定サポートをよりうまく活用する上で、人間をサポートする方法を模索してきた。
既存の研究は、AIの予測目標と人間の意思決定者の目標の両方にきれいにマッピングする基底真理ラベルに対して、それぞれの決定を比較して「適切な信頼」を評価できる意思決定タスクに焦点を当てている。
しかし、この仮定は、現在のAIツール(例えば、社会労働、刑事司法、医療)が配備されている現実世界の多くの環境には当てはまらない。
本稿では,AIモデルでは利用できない知識に対して,人間のAI予測を満足させる能力を中心とした,クリティカルユースというプロセス指向の適切な依存概念を紹介する。
批判的利用を支援するために、我々は複雑な社会的意思決定環境でランダムにオンライン実験を行い、児童虐待のスクリーニングを行う。
この環境でAIによる意思決定を実践する、迅速で低い機会を参加者に提供することで、初心者は経験豊富な労働者と似たAIとの相違パターンを示すようになった。
参加者のAI支援決定に対する説明の質的な検証では、AIモデルがアクセスできない定性的なケースナラティブに基づいて、AI予測にいつ依存するかを学習することが判明した。
我々の発見は、現実世界のAI支援意思決定のためのトレーニングの研究と設計のための新しい質問を開いている。
関連論文リスト
- The Impact of Imperfect XAI on Human-AI Decision-Making [7.29807482760841]
鳥種識別作業において,誤った説明が人間の意思決定行動にどのように影響するかを評価する。
この結果から,AIと人間-AIチームパフォーマンスへの不完全なXAIと,人間の専門知識レベルの影響が明らかになった。
論文 参考訳(メタデータ) (2023-07-25T15:19:36Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Knowing About Knowing: An Illusion of Human Competence Can Hinder
Appropriate Reliance on AI Systems [13.484359389266864]
本稿では、Dunning-Kruger Effect(DKE)がAIシステムへの適切な依存を妨げているかどうかを論じる。
DKEは、能力の低い個人が自身のスキルやパフォーマンスを過大評価しているため、メタ認知バイアスである。
その結果、パフォーマンスを過大評価する参加者は、AIシステムへの信頼度が低い傾向にあることがわかった。
論文 参考訳(メタデータ) (2023-01-25T14:26:10Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳(メタデータ) (2021-07-12T14:21:46Z) - Building Bridges: Generative Artworks to Explore AI Ethics [56.058588908294446]
近年,人工知能(AI)技術が社会に与える影響の理解と緩和に重点が置かれている。
倫理的AIシステムの設計における重要な課題は、AIパイプラインには複数の利害関係者があり、それぞれがそれぞれ独自の制約と関心を持っていることだ。
このポジションペーパーは、生成的アートワークが、アクセス可能で強力な教育ツールとして機能することで、この役割を果たすことができる可能性のいくつかを概説する。
論文 参考訳(メタデータ) (2021-06-25T22:31:55Z) - To Trust or to Think: Cognitive Forcing Functions Can Reduce
Overreliance on AI in AI-assisted Decision-making [4.877174544937129]
AIによる意思決定支援ツールによってサポートされる人々は、しばしばAIに過度に依存します。
AIの決定に説明を加えることは、過度な信頼を減らすものではありません。
我々の研究は、人間の認知モチベーションが説明可能なAIソリューションの有効性を損なうことを示唆している。
論文 参考訳(メタデータ) (2021-02-19T00:38:53Z) - The human-AI relationship in decision-making: AI explanation to support
people on justifying their decisions [4.169915659794568]
人々は、AIがどのように機能するか、そしてそのシステムとの関係を構築するために、その成果をもっと意識する必要があります。
意思決定のシナリオでは、人々はAIがどのように機能するか、そしてそのシステムとの関係を構築する結果についてもっと意識する必要があります。
論文 参考訳(メタデータ) (2021-02-10T14:28:34Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。