論文の概要: Evaluating Machine Learning Models against Clinical Protocols for Enhanced Interpretability and Continuity of Care

• arxiv url: http://arxiv.org/abs/2411.03105v1
• Date: Tue, 05 Nov 2024 13:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:57.194788
• Title: Evaluating Machine Learning Models against Clinical Protocols for Enhanced Interpretability and Continuity of Care
• Title（参考訳）: 医療の可読性と継続性を高めるための臨床プロトコルに対する機械学習モデルの評価
• Authors: Christel Sirocchi, Muhammad Suffian, Federico Sabbatini, Alessandro Bogliolo, Sara Montagna,
• Abstract要約: 臨床実践において、意思決定は確立されたプロトコルに大きく依存し、しばしば規則として定式化される。 機械学習アプリケーションの増加にもかかわらず、臨床実践への導入は依然として限られている。 確立されたプロトコルに関して,MLモデルの精度を評価する指標を提案する。
• 参考スコア（独自算出の注目度）: 39.58317527488534
• License:
• Abstract: In clinical practice, decision-making relies heavily on established protocols, often formalised as rules. Concurrently, Machine Learning (ML) models, trained on clinical data, aspire to integrate into medical decision-making processes. However, despite the growing number of ML applications, their adoption into clinical practice remains limited. Two critical concerns arise, relevant to the notions of consistency and continuity of care: (a) accuracy - the ML model, albeit more accurate, might introduce errors that would not have occurred by applying the protocol; (b) interpretability - ML models operating as black boxes might make predictions based on relationships that contradict established clinical knowledge. In this context, the literature suggests using ML models integrating domain knowledge for improved accuracy and interpretability. However, there is a lack of appropriate metrics for comparing ML models with clinical rules in addressing these challenges. Accordingly, in this article, we first propose metrics to assess the accuracy of ML models with respect to the established protocol. Secondly, we propose an approach to measure the distance of explanations provided by two rule sets, with the goal of comparing the explanation similarity between clinical rule-based systems and rules extracted from ML models. The approach is validated on the Pima Indians Diabetes dataset by training two neural networks - one exclusively on data, and the other integrating a clinical protocol. Our findings demonstrate that the integrated ML model achieves comparable performance to that of a fully data-driven model while exhibiting superior accuracy relative to the clinical protocol, ensuring enhanced continuity of care. Furthermore, we show that our integrated model provides explanations for predictions that align more closely with the clinical protocol compared to the data-driven model.
• Abstract（参考訳）: 臨床実践において、意思決定は確立されたプロトコルに大きく依存し、しばしば規則として定式化される。 同時に、臨床データに基づいてトレーニングされた機械学習(ML)モデルも、医療的な意思決定プロセスに統合することを目指している。 しかし、MLアプリケーションの増加にもかかわらず、臨床実践への採用は限られている。 ケアの一貫性と連続性の概念に関連する2つの重要な懸念が生じる。 (a) 正確性 - より正確ではあるが、MLモデルは、プロトコルを適用することによって発生しなかったエラーを導入するかもしれない。 b) 解釈可能性 - ブラックボックスとして動作するMLモデルは、確立された臨床知識と矛盾する関係に基づいて予測を行う可能性がある。 この文脈において、文献は、精度と解釈可能性を改善するためにドメイン知識を統合するMLモデルを使うことを提案する。 しかし、これらの課題に対処する上で、MLモデルと臨床ルールを比較するための適切な指標が欠如している。 そこで,本稿ではまず,確立されたプロトコルに関するMLモデルの精度を評価する指標を提案する。 第2に,臨床ルールベースシステムとMLモデルから抽出したルールの類似性を比較することを目的とした,2つのルールセットから提供される説明の距離を測定する手法を提案する。 このアプローチは、Pima Indians Diabetesデータセット上で、2つのニューラルネットワーク(1つはデータのみに、もう1つは臨床プロトコルを統合すること)をトレーニングすることで検証されている。 以上の結果から, 統合型MLモデルでは, 完全データ駆動モデルと同等の性能を示しながら, 臨床プロトコルと比較して精度が優れ, ケアの継続性の向上が期待できることがわかった。 さらに,我々の統合モデルでは,データ駆動モデルと比較して,臨床プロトコルとより密に一致した予測が説明できることを示した。

関連論文リスト

• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Stronger Baseline Models -- A Key Requirement for Aligning Machine Learning Research with Clinical Utility [0.0]
  機械学習モデルを高精細な臨床環境にデプロイしようとするとき、よく知られた障壁が存在する。 評価において,より強力なベースラインモデルを含むと,下流効果が重要となることを実証的に示す。 本稿では,MLモデルを臨床現場でより効果的に研究・展開するためのベストプラクティスを提案する。
  論文  参考訳（メタデータ） (2024-09-18T16:38:37Z)
• Clinical Validation of a Real-Time Machine Learning-based System for the Detection of Acute Myeloid Leukemia by Flow Cytometry [0.0]
  フロー内の機械学習(ML)モデルは、エラー率を低減し、効率を向上し、臨床実験室の効率を向上する可能性がある。 このようなモデルの臨床的展開についてはほとんど研究されていない。 急性骨髄性白血病(AML)の検出のためのMLモデルと臨床実装を支えるインフラについて述べる。
  論文  参考訳（メタデータ） (2024-09-17T16:53:47Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。 また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。 本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• CPLLM: Clinical Prediction with Large Language Models [0.07083082555458872]
  本稿では,臨床疾患に対するLLM(Pre-trained Large Language Model)の微調整と寛容予測を行う手法を提案する。 診断予測には,患者の来訪時に対象疾患と診断されるか,その後に診断されるかを,過去の診断記録を利用して予測する。 提案手法であるCPLLMは,PR-AUCおよびROC-AUCの指標で試験された全てのモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2023-09-20T13:24:12Z)
• Mixed-Integer Projections for Automated Data Correction of EMRs Improve Predictions of Sepsis among Hospitalized Patients [7.639610349097473]
  本稿では,領域制約として臨床専門知識をシームレスに統合する革新的プロジェクションに基づく手法を提案する。 我々は、患者データの健全な範囲を規定する制約から補正されたデータの距離を測定する。 AUROCは0.865で、精度は0.922で、従来のMLモデルを上回る。
  論文  参考訳（メタデータ） (2023-08-21T15:14:49Z)
• Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
  我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。 その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。 再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
  論文  参考訳（メタデータ） (2023-04-21T11:54:44Z)
• Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
  機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。 アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。 マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T09:35:38Z)
• Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability [82.29775890542967]
  治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。 ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。 我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:05Z)
• VBridge: Connecting the Dots Between Features, Explanations, and Data for Healthcare Models [85.4333256782337]
  VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。 我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。 症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
  論文  参考訳（メタデータ） (2021-08-04T17:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。