論文の概要: Clinicians don't know what explanations they need: A case study on eliciting AI software explainability requirements
- arxiv url: http://arxiv.org/abs/2501.09592v3
- Date: Wed, 22 Jan 2025 09:48:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 13:30:44.910142
- Title: Clinicians don't know what explanations they need: A case study on eliciting AI software explainability requirements
- Title（参考訳）: 臨床医は必要な説明を知らない:AIソフトウェアの説明可能性要件の抽出に関するケーススタディ
- Authors: Tor Sporsem, Stine Rasdal Finserås, Inga Strümke,
- Abstract要約: 本稿では、AIコンポーネントを用いたソフトウェアアプリケーション作成において、ソフトウェア開発者が説明可能性要件をどのように適用するかを分析する。
ノルウェーの病院で小さなソフトウェア開発チームに従って、我々はAIアプリケーションを同時に開発するプロセスを観察します。
臨床医はシステムと対話する前に説明可能性の必要性を明確にするために苦労したため、反復的アプローチが有効であることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This paper analyses how software developers elicit explainability requirements when creating a software application with an AI component, through a case study using AI in the medical context of predicting cerebral palsy (CP) risk in infants. Following a small software development team at a Norwegian hospital, we observe their process of simultaneously developing the AI application and discovering what explanations clinicians require from the AI predictions. Since clinicians struggled to articulate their explainability needs before interacting with the system, an iterative approach proved effective: the team started with minimal explanations and refined these based on clinicians' responses during real patient examinations. Our preliminary findings from the first two iterations show that clinicians valued "interrogative explanations" - i.e., tools that let them explore and compare the AI predictions with their own assessments - over detailed technical explanations of the AI model's inner workings. Based on our analysis, we suggest that successful explainability requirements emerge through iterative collaboration between developers and users rather than being fully specified upfront. To the best of our knowledge, this is the first empirical case study on eliciting explainability requirements in software engineering.
- Abstract（参考訳）: 本稿では、乳幼児の脳性麻痺(CP)リスクを予測する医療的文脈において、AIを用いたケーススタディを通じて、ソフトウェア開発者がAIコンポーネントを使用したソフトウェアアプリケーションを作成する際の説明可能性要件をどのように引き出すかを分析する。
ノルウェーの病院で小さなソフトウェア開発チームに従って、我々はAIアプリケーションを同時に開発し、臨床医がAI予測から必要とする説明を発見するプロセスを観察します。
臨床医はシステムと対話する前に説明可能性の必要性を明確にするために苦労したため、反復的なアプローチが効果的であることが判明した。
最初の2回のイテレーションから得られた予備的な発見は、臨床医がAIモデルの内部動作の詳細な技術的説明よりも、"解釈的説明(interrogative explanations)" — すなわち、AI予測を自身の評価と探索し比較できるツール — を重要視していることを示しています。
分析の結果から,開発者とユーザ間の反復的なコラボレーションを通じて,説明可能性の要件が十分に規定されるのではなく,実現できることが示唆された。
私たちの知る限りでは、ソフトウェア工学における説明可能性の要件を引き出すための実験的なケーススタディとしては、これが初めてです。
関連論文リスト
- Contrasting Attitudes Towards Current and Future AI Applications for Computerised Interpretation of ECG: A Clinical Stakeholder Interview Study [2.570550251482137]
英国で臨床医に一連のインタビューを行った。
我々の研究は、AI、特に未来の「人間のような」コンピューティングの可能性を探る。
論文 参考訳（メタデータ） (2024-10-22T10:31:23Z) - Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。
パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。
得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
論文 参考訳（メタデータ） (2024-09-09T06:55:37Z) - Challenges for Responsible AI Design and Workflow Integration in Healthcare: A Case Study of Automatic Feeding Tube Qualification in Radiology [35.284458448940796]
ナトリウムガスチューブ(NGT)は、鼻から胃に挿入されたチューブを供給し、栄養や薬品を供給している。
近年のAI開発は、チェストX線画像からNGT配置を堅牢に検出する可能性を示している。
本稿では,この問題に対する人間中心のアプローチを提案するとともに,コンテキスト調査および15の臨床ステークホルダとの詳細なインタビューの結果から得られた知見について述べる。
論文 参考訳（メタデータ） (2024-05-08T14:16:22Z) - Transparent AI: Developing an Explainable Interface for Predicting Postoperative Complications [1.6609516435725236]
我々は5つの重要な質問に答えるために設計された説明可能なAI(XAI)フレームワークを提案する。
我々は,LIME(Local Interpretable Model-Agnostic Explanations)などの様々な手法を取り入れた。
術後合併症の予測を目的としたXAIインタフェースの試作について紹介した。
論文 参考訳（メタデータ） (2024-04-18T21:01:27Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Explainable AI applications in the Medical Domain: a systematic review [1.4419517737536707]
医療AIの分野は、ユーザー信頼の構築、規制の遵守、倫理的にデータの利用など、さまざまな課題に直面している。
本稿では,近年発行されている198記事の代表的サンプルをもとに,XAIソリューションの医療意思決定支援への展開に関する文献的考察を行う。
論文 参考訳（メタデータ） (2023-08-10T08:12:17Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - What Do End-Users Really Want? Investigation of Human-Centered XAI for
Mobile Health Apps [69.53730499849023]
説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。
分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。
私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
論文 参考訳（メタデータ） (2022-10-07T12:51:27Z) - Who Goes First? Influences of Human-AI Workflow on Decision Making in
Clinical Imaging [24.911186503082465]
本研究は, 放射線医学における診断セッション開始時と, 放射線科医の仮決定後のAI支援の効果について検討した。
その結果、AI推論をレビューする前に仮回答を登録するよう求められている参加者は、アドバイスが正確かどうかに関わらず、AIに同意する確率が低く、AIと意見の相違がある場合には、同僚の第二の意見を求める確率が低いことがわかった。
論文 参考訳（メタデータ） (2022-05-19T16:59:25Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳（メタデータ） (2021-08-04T17:34:13Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。