論文の概要: When accurate prediction models yield harmful self-fulfilling prophecies
- arxiv url: http://arxiv.org/abs/2312.01210v4
- Date: Mon, 26 Aug 2024 13:57:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 00:46:25.292579
- Title: When accurate prediction models yield harmful self-fulfilling prophecies
- Title(参考訳): 正確な予測モデルが有害な自己充足予言をもたらすとき
- Authors: Wouter A. C. van Amsterdam, Nan van Geloven, Jesse H. Krijthe, Rajesh Ranganath, Giovanni Ciná,
- Abstract要約: 意思決定に予測モデルを使うことは有害な決定につながる可能性があることを示す。
我々の主な成果は、そのような予測モデルの集合を形式的に特徴づけることである。
これらの結果は、予測モデルの検証、デプロイ、評価のための標準プラクティスを改訂する必要があることを示している。
- 参考スコア(独自算出の注目度): 16.304160143287366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prediction models are popular in medical research and practice. By predicting an outcome of interest for specific patients, these models may help inform difficult treatment decisions, and are often hailed as the poster children for personalized, data-driven healthcare. We show however, that using prediction models for decision making can lead to harmful decisions, even when the predictions exhibit good discrimination after deployment. These models are harmful self-fulfilling prophecies: their deployment harms a group of patients but the worse outcome of these patients does not invalidate the predictive power of the model. Our main result is a formal characterization of a set of such prediction models. Next we show that models that are well calibrated before and after deployment are useless for decision making as they made no change in the data distribution. These results point to the need to revise standard practices for validation, deployment and evaluation of prediction models that are used in medical decisions.
- Abstract(参考訳): 予測モデルは医学研究や実践で人気がある。
特定の患者に対する関心の結果を予測することで、これらのモデルは難しい治療決定を知らせる助けとなり、パーソナライズされたデータ駆動医療のためのポスターキッズとしてしばしば賞賛される。
しかし, 予測モデルを用いて意思決定を行うと, 予測が展開後に良質な差別を示す場合であっても, 有害な決定につながる可能性が示唆された。
これらのモデルは有害な自己充足的予言であり、その展開は患者のグループに害を与えるが、これらの患者の悪影響はモデルの予測力を無効にしない。
我々の主な成果は、そのような予測モデルの集合を形式的に特徴づけることである。
次に、配置前後で適切に調整されたモデルは、データ配布の変更を行わなかったため、意思決定には役に立たないことを示す。
これらの結果は、医学的な決定に使用される予測モデルの検証、展開、評価のための標準プラクティスを改訂する必要があることを示唆している。
関連論文リスト
- Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳(メタデータ) (2024-02-12T16:15:25Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳(メタデータ) (2023-10-04T01:36:30Z) - A roadmap to fair and trustworthy prediction model validation in
healthcare [2.476158303361112]
予測モデルは、開発データを超えて一般化すれば最も有用である。
本稿では,信頼性,公正,信頼性の高い人工知能予測モデルの開発と適用を促進するロードマップを提案する。
論文 参考訳(メタデータ) (2023-04-07T04:24:19Z) - From algorithms to action: improving patient care requires causality [18.154976419582873]
ほとんどの結果予測モデルは、治療決定の因果的側面によらず、開発され、検証される。
アメリカがん合同委員会による予測モデル検証のガイドラインとリスクモデル支持のチェックリストは、開発と検証の間に正確だが意思決定に使用すると有害な予測モデルから保護するものではない。
論文 参考訳(メタデータ) (2022-09-15T15:57:17Z) - Predicting from Predictions [18.393971232725015]
観測データから,結果に対する予測の因果的影響を同定する方法について検討した。
予測から予測する教師あり学習は,特徴,予測,結果の間の伝達可能な機能的関係を見出すことができることを示す。
論文 参考訳(メタデータ) (2022-08-15T16:57:02Z) - A Machine Learning Model for Predicting, Diagnosing, and Mitigating
Health Disparities in Hospital Readmission [0.0]
本稿では,データ中のバイアスの検出と緩和とモデル予測が可能な機械学習パイプラインを提案する。
提案手法の有効性を,精度と公正度の測定値を用いて評価した。
論文 参考訳(メタデータ) (2022-06-13T16:07:25Z) - Learning to Predict with Supporting Evidence: Applications to Clinical
Risk Prediction [9.199022926064009]
機械学習モデルがヘルスケアに与える影響は、医療専門家がこれらのモデルによって予測される信頼度に依存する。
予測が信頼されるべき理由に関するドメイン関連証拠を,臨床専門性のある人に提供するための方法を提示する。
論文 参考訳(メタデータ) (2021-03-04T00:26:32Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-11-12T02:23:53Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳(メタデータ) (2020-06-02T16:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。