論文の概要: Uncertainty Aware Training to Improve Deep Learning Model Calibration
for Classification of Cardiac MR Images
- arxiv url: http://arxiv.org/abs/2308.15141v1
- Date: Tue, 29 Aug 2023 09:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 14:59:39.230258
- Title: Uncertainty Aware Training to Improve Deep Learning Model Calibration
for Classification of Cardiac MR Images
- Title(参考訳): 心臓mr画像分類のためのディープラーニングモデル校正改善のための不確実性対応トレーニング
- Authors: Tareen Dawood, Chen Chen, Baldeep S. Sidhua, Bram Ruijsink, Justin
Goulda, Bradley Porter, Mark K. Elliott, Vishal Mehta, Christopher A.
Rinaldi, Esther Puyol-Anton, Reza Razavi, Andrew P. King
- Abstract要約: 予測の不確実性の定量化は、より信頼できるAIモデルを開発する方法の1つとして特定されている。
我々は,2つの最先端アプローチと比較して,新しい不確実性を考慮した3つのトレーニング戦略を評価する。
- 参考スコア(独自算出の注目度): 3.9402047771122812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantifying uncertainty of predictions has been identified as one way to
develop more trustworthy artificial intelligence (AI) models beyond
conventional reporting of performance metrics. When considering their role in a
clinical decision support setting, AI classification models should ideally
avoid confident wrong predictions and maximise the confidence of correct
predictions. Models that do this are said to be well-calibrated with regard to
confidence. However, relatively little attention has been paid to how to
improve calibration when training these models, i.e., to make the training
strategy uncertainty-aware. In this work we evaluate three novel
uncertainty-aware training strategies comparing against two state-of-the-art
approaches. We analyse performance on two different clinical applications:
cardiac resynchronisation therapy (CRT) response prediction and coronary artery
disease (CAD) diagnosis from cardiac magnetic resonance (CMR) images. The
best-performing model in terms of both classification accuracy and the most
common calibration measure, expected calibration error (ECE) was the Confidence
Weight method, a novel approach that weights the loss of samples to explicitly
penalise confident incorrect predictions. The method reduced the ECE by 17% for
CRT response prediction and by 22% for CAD diagnosis when compared to a
baseline classifier in which no uncertainty-aware strategy was included. In
both applications, as well as reducing the ECE there was a slight increase in
accuracy from 69% to 70% and 70% to 72% for CRT response prediction and CAD
diagnosis respectively. However, our analysis showed a lack of consistency in
terms of optimal models when using different calibration measures. This
indicates the need for careful consideration of performance metrics when
training and selecting models for complex high-risk applications in healthcare.
- Abstract(参考訳): 予測の不確かさの定量化は、従来のパフォーマンスメトリクスの報告よりも信頼性の高い人工知能(ai)モデルを開発する方法の一つとして認識されている。
臨床決定支援設定におけるそれらの役割を考えるとき、AI分類モデルは、正しい予測の信頼性を最大化し、正しい予測の信頼性を理想的に避けるべきである。
これを行うモデルは、自信に関して十分に調整されていると言われている。
しかし、これらのモデルをトレーニングする際のキャリブレーションを改善する方法、すなわちトレーニング戦略を不確実なものにするためには、比較的注意が払われていない。
本研究では,2つの最先端手法と比較した3つの新しい不確実性認識学習戦略を評価する。
心臓再同期療法 (CRT) と冠動脈疾患 (CAD) の2つの臨床応用について, 心磁気共鳴 (CMR) 画像による検討を行った。
分類精度と最も一般的なキャリブレーション尺度である期待キャリブレーション誤差(ece)の両面で最もパフォーマンスの高いモデルは、信頼度重み法であり、信頼度の高い不正確な予測を明示的に罰するためにサンプルの損失を重み付けする新しいアプローチである。
この方法は,不確実性認識戦略を含まないベースライン分類器と比較して,crt応答予測のeceを17%,cad診断を22%削減した。
いずれのアプリケーションにおいても,CEの低減とともに,CRT応答予測とCAD診断において,精度が69%から70%,70%から72%にわずかに向上した。
しかし,本解析では,キャリブレーション手法の違いによる最適モデルの一貫性の欠如が確認された。
これは、医療における複雑なリスクの高いアプリケーションのトレーニングやモデルの選択において、パフォーマンスメトリクスを慎重に考慮する必要があることを示している。
関連論文リスト
- Improving Deep Learning Model Calibration for Cardiac Applications using Deterministic Uncertainty Networks and Uncertainty-aware Training [2.0006125576503617]
深層学習(DL)分類モデル校正の改善を目的とした2種類のアプローチの精度と校正への影響を評価する。
具体的には、3つのDUMと2つの不確実性を考慮したトレーニングアプローチ、およびそれらの組み合わせの性能を検証した。
以上の結果から,DUMと不確実性を考慮したトレーニングが両アプリケーションの精度と校正の両面で向上することが示唆された。
論文 参考訳(メタデータ) (2024-05-10T14:07:58Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Uncertainty Quantification on Clinical Trial Outcome Prediction [37.238845949535616]
本稿では,不確実性の定量化を臨床治験結果の予測に取り入れることを提案する。
私たちの主な目標は、ニュアンスドの違いを識別するモデルの能力を強化することです。
我々は目的を達成するために選択的な分類手法を採用した。
論文 参考訳(メタデータ) (2024-01-07T13:48:05Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z) - Uncertainty estimations methods for a deep learning model to aid in
clinical decision-making -- a clinician's perspective [0.0]
深層学習にインスパイアされた不確実性推定技術はいくつかあるが、医療データセットに実装されているものはほとんどない。
我々は,不確かさを推定するために,ドロップアウト変動推論(DO),テスト時間拡張(TTA),共形予測,単一決定論的手法を比較した。
臨床実習にモデルを組み込む前に,複数の推定手法を評価することが重要である。
論文 参考訳(メタデータ) (2022-10-02T17:54:54Z) - Density-Aware Personalized Training for Risk Prediction in Imbalanced
Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。
この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。
実世界の医療データセットにおけるモデルの性能向上を実証する。
論文 参考訳(メタデータ) (2022-07-23T00:39:53Z) - BSM loss: A superior way in modeling aleatory uncertainty of
fine_grained classification [0.0]
混合データ拡張戦略を用いた改良型ブートストラップ損失(BS損失)関数を提案する。
実験の結果,Mixup(BSM)モデルによるBS損失は,標準データ拡張と比較して予測誤差(ECE)を半減できることがわかった。
BSMモデルはドメイン外のデータのセマンティックな距離を知覚することができ、実際の臨床実践において高い可能性を示す。
論文 参考訳(メタデータ) (2022-06-09T13:06:51Z) - Performance or Trust? Why Not Both. Deep AUC Maximization with
Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。
本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
論文 参考訳(メタデータ) (2021-12-14T21:16:52Z) - Uncertainty-Aware Training for Cardiac Resynchronisation Therapy
Response Prediction [3.090173647095682]
予測の不確実性の定量化は、そのような解釈可能性を提供し、信頼を促進する1つの方法である。
心臓磁気共鳴画像からの心再同期治療応答予測のためのDLモデルのデータ(アラート的)とモデル(緊急的)の不確かさを定量化する。
我々は、既存のDL画像に基づく分類モデルを再訓練し、正しい予測の信頼性を高めるために使用できる不確実性認識損失関数を予備検討する。
論文 参考訳(メタデータ) (2021-09-22T10:37:50Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。