論文の概要: What Do You See in this Patient? Behavioral Testing of Clinical NLP Models

• arxiv url: http://arxiv.org/abs/2111.15512v1
• Date: Tue, 30 Nov 2021 15:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 16:44:57.207313
• Title: What Do You See in this Patient? Behavioral Testing of Clinical NLP Models
• Title（参考訳）: この患者に何が見えますか。 臨床NLPモデルの行動検査
• Authors: Betty van Aken, Sebastian Herrmann, Alexander L\"oser
• Abstract要約: 本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
• 参考スコア（独自算出の注目度）: 69.09570726777817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision support systems based on clinical notes have the potential to improve patient care by pointing doctors towards overseen risks. Predicting a patient's outcome is an essential part of such systems, for which the use of deep neural networks has shown promising results. However, the patterns learned by these networks are mostly opaque and previous work revealed flaws regarding the reproduction of unintended biases. We thus introduce an extendable testing framework that evaluates the behavior of clinical outcome models regarding changes of the input. The framework helps to understand learned patterns and their influence on model decisions. In this work, we apply it to analyse the change in behavior with regard to the patient characteristics gender, age and ethnicity. Our evaluation of three current clinical NLP models demonstrates the concrete effects of these characteristics on the models' decisions. They show that model behavior varies drastically even when fine-tuned on the same data and that allegedly best-performing models have not always learned the most medically plausible patterns.
• Abstract（参考訳）: 臨床ノートに基づく意思決定支援システムは、医師を監督リスクに向けることで患者のケアを改善する可能性を秘めている。 患者の結果を予測することは、深層ニューラルネットワークの使用が有望な結果を示すようなシステムにおいて、不可欠な部分である。 しかし、これらのネットワークで学んだパターンは、ほとんど不透明であり、以前の研究で意図しないバイアスの再現に関する欠陥が明らかになった。 そこで我々は,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 このフレームワークは、学習したパターンとそのモデル決定への影響を理解するのに役立つ。 本研究では, 患者の特徴, 年齢, 民族性について, 行動変化の分析に応用する。 現在の3つのNLPモデルの評価は,これらの特性がモデル決定に与える影響を実証するものである。 彼らは、同じデータに微調整された場合でも、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示している。

関連論文リスト

• Ethical considerations of use of hold-out sets in clinical prediction model management [0.4194295877935868]
  我々は、善意、非正当性、自律性、正義の倫理的原則に焦点をあてる。 また,様々なホールドアウトセットサンプリング手法による統計的問題についても論じる。
  論文  参考訳（メタデータ） (2024-06-05T11:42:46Z)
• Decoding Decision Reasoning: A Counterfactual-Powered Model for Knowledge Discovery [6.1521675665532545]
  医用画像では、AIモデルの予測の背後にある根拠を明らかにすることが、信頼性を評価する上で重要である。 本稿では,意思決定推論と特徴識別機能を備えた説明可能なモデルを提案する。 提案手法を実装することにより,データ駆動モデルにより活用されるクラス固有の特徴を効果的に識別および可視化することができる。
  論文  参考訳（メタデータ） (2024-05-23T19:00:38Z)
• Towards a Transportable Causal Network Model Based on Observational Healthcare Data [1.333879175460266]
  本稿では,選択図,不足グラフ,因果発見,事前知識を1つのグラフィカルモデルに組み合わせた新しい手法を提案する。 このモデルは、患者の2つの異なるコホートからなるデータから学習する。 結果として得られた因果ネットワークモデルは、リスク評価、正確性、説明可能性の観点から専門家臨床医によって検証される。
  論文  参考訳（メタデータ） (2023-11-13T13:23:31Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• This Patient Looks Like That Patient: Prototypical Networks for Interpretable Diagnosis Prediction from Clinical Text [56.32427751440426]
  臨床実践においては、そのようなモデルは正確であるだけでなく、医師に解釈可能で有益な結果を与える必要がある。 本稿では,プロトタイプネットワークに基づく新しい手法であるProtoPatientを紹介する。 利用可能な2つの臨床データセット上でモデルを評価し、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-16T10:12:07Z)
• Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability [82.29775890542967]
  治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。 ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。 我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:05Z)
• Towards Trustworthy Cross-patient Model Development [3.109478324371548]
  本研究は,全ての患者と1人の患者を対象に訓練を行った際のモデル性能と説明可能性の差異について検討した。 以上の結果から,患者の人口動態は,パフォーマンスや説明可能性,信頼性に大きな影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-20T10:51:04Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。