論文の概要: Exploring How Anomalous Model Input and Output Alerts Affect
Decision-Making in Healthcare
- arxiv url: http://arxiv.org/abs/2204.13194v1
- Date: Wed, 27 Apr 2022 20:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 14:51:16.659294
- Title: Exploring How Anomalous Model Input and Output Alerts Affect
Decision-Making in Healthcare
- Title（参考訳）: 医療におけるモデル入力と出力アラートが意思決定に及ぼす影響について
- Authors: Marissa Radensky, Dustin Burson, Rajya Bhaiya, Daniel S. Weld
- Abstract要約: ユーザがより適切な信頼から特に恩恵を受ける可能性のある状況は、AIが異常な入力を受けたり、異常な出力を提供したりすることである。
本稿では,AI臨床意思決定支援システムのモックアップによるユーザ体験に,異常入力に対するAI警告がどう影響するかを検討する。
我々は,4つの異常警報が非放射線学者によって望まれていることを示す証拠を見つけ,高信頼警報は放射線学者と非放射線学者の両方によって望まれている。
フォローアップ・ユーザ・スタディでは,高信頼度・低信頼度警報が33名の放射線技師の作業精度および適切な信頼度に与える影響について検討した。
- 参考スコア（独自算出の注目度）: 13.44589918338492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important goal in the field of human-AI interaction is to help users more
appropriately trust AI systems' decisions. A situation in which the user may
particularly benefit from more appropriate trust is when the AI receives
anomalous input or provides anomalous output. To the best of our knowledge,
this is the first work towards understanding how anomaly alerts may contribute
to appropriate trust of AI. In a formative mixed-methods study with 4
radiologists and 4 other physicians, we explore how AI alerts for anomalous
input, very high and low confidence, and anomalous saliency-map explanations
affect users' experience with mockups of an AI clinical decision support system
(CDSS) for evaluating chest x-rays for pneumonia. We find evidence suggesting
that the four anomaly alerts are desired by non-radiologists, and the
high-confidence alerts are desired by both radiologists and non-radiologists.
In a follow-up user study, we investigate how high- and low-confidence alerts
affect the accuracy and thus appropriate trust of 33 radiologists working with
AI CDSS mockups. We observe that these alerts do not improve users' accuracy or
experience and discuss potential reasons why.
- Abstract（参考訳）: 人間-AIインタラクションの分野での重要な目標は、AIシステムの決定をより適切に信頼することである。
ユーザがより適切な信頼から特に恩恵を受ける可能性のある状況は、AIが異常な入力を受けたり、異常な出力を提供したりすることである。
私たちの知る限りでは、異常アラートがAIの適切な信頼にどのように貢献するかを理解するための最初の取り組みである。
4人の放射線科医と4人の医師によるホルマティブ・ミックス・メソドックス研究において、異常な入力に対するAI警告、非常に高い信頼性と低い信頼、そして異常なサリエンシマップの説明が、肺炎の胸部X線を評価するためのAI臨床決定支援システム(CDSS)のモックアップによるユーザ体験にどのように影響するかを考察した。
我々は,4つの異常警報が非放射線学者によって望まれていることを示す証拠を見出した。
本研究は,高信頼度・低信頼度警報がAICDSSモックアップに携わる33名の放射線技師の精度および適切な信頼度に与える影響について調査した。
これらのアラートはユーザの正確さや経験を向上するものではありません。
関連論文リスト
- The doctor will polygraph you now: ethical concerns with AI for fact-checking patients [0.23248585800296404]
社会行動予測のための人工知能(AI)手法が提案されている。
これにより、患者のデータに対する敬意、プライバシ、コントロールに関する新たな倫理的懸念が生まれます。
論文 参考訳（メタデータ） (2024-08-15T02:55:30Z) - Explainable AI Enhances Glaucoma Referrals, Yet the Human-AI Team Still Falls Short of the AI Alone [6.740852152639975]
各種のAI説明は、提供者が即時または緊急の専門紹介を必要とする患者を区別するのにどのように役立つかを検討する。
我々は、高リスク患者を特定するためのプロキシとして、通常のアイケアデータから緑内障手術のニーズを予測するための説明可能なAIアルゴリズムを構築した。
本研究は,本質的・ポストホックな説明性を取り入れ,ヒト-AIチームのパフォーマンスを評価するために,眼科医とオンライン研究を行った。
論文 参考訳（メタデータ） (2024-05-24T03:01:20Z) - Integrating ChatGPT into Secure Hospital Networks: A Case Study on
Improving Radiology Report Analysis [1.3624495460189863]
本研究は,ChatGPTに類似したクラウドベースのAIを,放射線学報告を解析するためのセキュアなモデルに初めて適応させたものである。
コントラスト学習によるユニークな文レベルの知識蒸留手法を用いて,異常検出の精度を95%以上向上する。
論文 参考訳（メタデータ） (2024-02-14T18:02:24Z) - A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。
賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
論文 参考訳（メタデータ） (2023-10-20T14:41:46Z) - Auditing for Human Expertise [12.967730957018688]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳（メタデータ） (2023-06-02T16:15:24Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - What Do End-Users Really Want? Investigation of Human-Centered XAI for
Mobile Health Apps [69.53730499849023]
説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。
分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。
私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
論文 参考訳（メタデータ） (2022-10-07T12:51:27Z) - A Dempster-Shafer approach to trustworthy AI with application to fetal
brain MRI segmentation [3.3418712704529585]
我々は、信頼できるAI理論フレームワークと、バックボーンAIシステムを拡張可能な実用的なシステムを提案する。
胎児MRIのアノテートデータセットにおける信頼性の高いAIアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-04-05T15:02:18Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Exploring and Distilling Posterior and Prior Knowledge for Radiology
Report Generation [55.00308939833555]
PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。
PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。
PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
論文 参考訳（メタデータ） (2021-06-13T11:10:02Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。