論文の概要: A roadmap to fair and trustworthy prediction model validation in
healthcare
- arxiv url: http://arxiv.org/abs/2304.03779v1
- Date: Fri, 7 Apr 2023 04:24:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 19:38:00.089938
- Title: A roadmap to fair and trustworthy prediction model validation in
healthcare
- Title(参考訳): 医療における公平かつ信頼できる予測モデル検証のロードマップ
- Authors: Yilin Ning, Victor Volovici, Marcus Eng Hock Ong, Benjamin Alan
Goldstein, Nan Liu
- Abstract要約: 予測モデルは、開発データを超えて一般化すれば最も有用である。
本稿では,信頼性,公正,信頼性の高い人工知能予測モデルの開発と適用を促進するロードマップを提案する。
- 参考スコア(独自算出の注目度): 2.476158303361112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A prediction model is most useful if it generalizes beyond the development
data with external validations, but to what extent should it generalize remains
unclear. In practice, prediction models are externally validated using data
from very different settings, including populations from other health systems
or countries, with predictably poor results. This may not be a fair reflection
of the performance of the model which was designed for a specific target
population or setting, and may be stretching the expected model
generalizability. To address this, we suggest to externally validate a model
using new data from the target population to ensure clear implications of
validation performance on model reliability, whereas model generalizability to
broader settings should be carefully investigated during model development
instead of explored post-hoc. Based on this perspective, we propose a roadmap
that facilitates the development and application of reliable, fair, and
trustworthy artificial intelligence prediction models.
- Abstract(参考訳): 予測モデルは、外部のバリデーションで開発データを超えて一般化する場合が最も有用であるが、どの程度まで一般化されるべきかはいまだ不明である。
実際には、予測モデルは、他の健康システムや国からの人口を含む、まったく異なる設定のデータを使用して外部に検証される。
これは、特定の対象集団や設定のために設計されたモデルの性能の公正な反映ではなく、期待されるモデルの一般化可能性を拡張しているかもしれない。
そこで本研究では,対象個体群からの新しいデータを用いてモデル検証を行い,モデル信頼性に対する検証性能の明確な影響を確認することを提案する。
この観点から,信頼度の高い,公平で信頼性の高い人工知能予測モデルの開発と応用を促進するロードマップを提案する。
関連論文リスト
- Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳(メタデータ) (2024-02-12T16:15:25Z) - A performance characteristic curve for model evaluation: the application
in information diffusion prediction [3.8711489380602804]
拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
論文 参考訳(メタデータ) (2023-09-18T07:32:57Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Loss Estimators Improve Model Generalization [36.520569284970456]
予測モデルと並行して損失推定器を訓練し,対照訓練目標を用いて予測の不確実性を直接推定する。
モデル一般化における損失推定器の影響を,その分布データに対する忠実度と,トレーニング中に見つからない分布サンプルや新しいクラスの検出能力の両方の観点から示す。
論文 参考訳(メタデータ) (2021-03-05T16:35:10Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。
我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2020-12-15T21:32:03Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - A Causal Lens for Peeking into Black Box Predictive Models: Predictive
Model Interpretation via Causal Attribution [3.3758186776249928]
予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。
我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。
モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-08-01T23:20:57Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。