論文の概要: Stability of clinical prediction models developed using statistical or machine learning methods

• arxiv url: http://arxiv.org/abs/2211.01061v1
• Date: Wed, 2 Nov 2022 11:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 14:22:19.460867
• Title: Stability of clinical prediction models developed using statistical or machine learning methods
• Title（参考訳）: 統計的・機械学習手法を用いた臨床予測モデルの安定性
• Authors: Richard D Riley and Gary S Collins
• Abstract要約: 臨床予測モデルは、複数の予測器の値に基づいて、個人の特定の健康結果のリスクを推定する。 多くのモデルは、モデルとその予測(推定リスク)の不安定性につながる小さなデータセットを使用して開発されている。 モデルの推定リスクの不安定性は、しばしばかなりのものであり、新しいデータにおける予測の誤校正として現れます。
• 参考スコア（独自算出の注目度）: 0.5482532589225552
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Clinical prediction models estimate an individual's risk of a particular health outcome, conditional on their values of multiple predictors. A developed model is a consequence of the development dataset and the chosen model building strategy, including the sample size, number of predictors and analysis method (e.g., regression or machine learning). Here, we raise the concern that many models are developed using small datasets that lead to instability in the model and its predictions (estimated risks). We define four levels of model stability in estimated risks moving from the overall mean to the individual level. Then, through simulation and case studies of statistical and machine learning approaches, we show instability in a model's estimated risks is often considerable, and ultimately manifests itself as miscalibration of predictions in new data. Therefore, we recommend researchers should always examine instability at the model development stage and propose instability plots and measures to do so. This entails repeating the model building steps (those used in the development of the original prediction model) in each of multiple (e.g., 1000) bootstrap samples, to produce multiple bootstrap models, and then deriving (i) a prediction instability plot of bootstrap model predictions (y-axis) versus original model predictions (x-axis), (ii) a calibration instability plot showing calibration curves for the bootstrap models in the original sample; and (iii) the instability index, which is the mean absolute difference between individuals' original and bootstrap model predictions. A case study is used to illustrate how these instability assessments help reassure (or not) whether model predictions are likely to be reliable (or not), whilst also informing a model's critical appraisal (risk of bias rating), fairness assessment and further validation requirements.
• Abstract（参考訳）: 臨床予測モデルは、個人の特定の健康結果のリスクを推定し、複数の予測者の値に依存する。 開発されたモデルは、サンプルサイズ、予測器の数、分析方法(回帰や機械学習など)を含む開発データセットと選択されたモデル構築戦略の結果である。 ここでは,モデルの不安定性や予測(リスクを見積もる)につながる小さなデータセットを用いて,多くのモデルが開発されているという懸念を提起する。 総合平均から個人レベルへ移行する推定リスクにおいて,モデル安定性の4つのレベルを定義する。 そして、統計的および機械学習アプローチのシミュレーションとケーススタディにより、モデルの推定リスクの不安定性はしばしば顕著であり、最終的には、新しいデータにおける予測の誤校正として現れます。 したがって、モデル開発段階では、常に不安定性を調べ、不安定性プロットや対策を提案することを推奨する。 これにより、複数の(例えば1000)ブートストラップサンプルのそれぞれでモデル構築ステップ(元の予測モデルの開発で使用されるもの)を繰り返して、複数のブートストラップモデルを生成し、導出する。 (i)ブートストラップモデル予測(y軸)とオリジナルモデル予測(x軸)の予測不安定性プロット (ii)原試料におけるブートストラップモデルの校正曲線を示す校正不安定プロット (iii)個人のオリジナルモデルとブートストラップモデルの予測の平均絶対差である不安定指数。 ケーススタディでは、これらの不安定性評価がモデル予測が信頼性(あるいは信頼性)が高いかどうか(あるいはそうでないかどうか)の確認にどのように役立つかを示すとともに、モデルのクリティカルな評価(バイアス評価のリスク)、公平性評価、さらなる検証要件を通知する。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• A performance characteristic curve for model evaluation: the application in information diffusion prediction [3.8711489380602804]
  拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。 異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。 曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
  論文  参考訳（メタデータ） (2023-09-18T07:32:57Z)
• Surrogate uncertainty estimation for your time series forecasting black-box: learn when to trust [2.0393477576774752]
  本研究では不確実性推定手法を紹介する。 妥当な不確実性推定を伴うベース回帰モデルを強化する。 各種時系列予測データを用いて, 代理モデルに基づく手法により, 精度の高い信頼区間が得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-06T14:52:56Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Causality and Generalizability: Identifiability and Learning Methods [0.0]
  この論文は、因果効果の推定、因果構造学習、および分布的に堅牢な予測方法に関する研究領域に寄与する。 本稿では,データ依存平均二乗予測誤差正規化を用いた機器変数設定における線形・非線形因果関係推定器について述べる。 本稿では,介入誘起分布に関する分布ロバスト性に関する一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-04T13:12:11Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。