論文の概要: An Effective Meaningful Way to Evaluate Survival Models
- arxiv url: http://arxiv.org/abs/2306.01196v1
- Date: Thu, 1 Jun 2023 23:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 17:22:31.738985
- Title: An Effective Meaningful Way to Evaluate Survival Models
- Title(参考訳): 生存モデルを評価する効果的な方法
- Authors: Shi-ang Qi, Neeraj Kumar, Mahtab Farrokh, Weijie Sun, Li-Hao Kuan,
Rajesh Ranganath, Ricardo Henao, Russell Greiner
- Abstract要約: 実際には、テストセットには検閲された個人が含まれています。
本稿では,現実的な半合成サバイバルデータセットを生成するための,新しい効果的なアプローチを提案する。
提案手法では,モデルの性能に基づいて精度の高いランク付けが可能であり,しばしば真のMAEと密接に一致している。
- 参考スコア(独自算出の注目度): 34.21432603301076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One straightforward metric to evaluate a survival prediction model is based
on the Mean Absolute Error (MAE) -- the average of the absolute difference
between the time predicted by the model and the true event time, over all
subjects. Unfortunately, this is challenging because, in practice, the test set
includes (right) censored individuals, meaning we do not know when a censored
individual actually experienced the event. In this paper, we explore various
metrics to estimate MAE for survival datasets that include (many) censored
individuals. Moreover, we introduce a novel and effective approach for
generating realistic semi-synthetic survival datasets to facilitate the
evaluation of metrics. Our findings, based on the analysis of the
semi-synthetic datasets, reveal that our proposed metric (MAE using
pseudo-observations) is able to rank models accurately based on their
performance, and often closely matches the true MAE -- in particular, is better
than several alternative methods.
- Abstract(参考訳): 生存予測モデルを評価するための簡単な指標の1つは、平均絶対誤差(MAE)に基づいており、モデルによって予測される時間と真のイベント時間との絶対差の平均である。
残念ながら、このテストセットには(正しい)検閲された個人が含まれているため、これは難しい。
本稿では,検閲された個人を含む生存データセットのMAEを推定するための様々な指標について検討する。
さらに,メトリクスの評価を容易にするために,リアルな半合成サバイバルデータセットを生成する新しい効果的手法を提案する。
半合成データセットの分析結果から,提案した測定値(擬似観測値を用いたMAE)が,その性能に基づいて精度よくモデルにランク付けでき,真のMAEとよく一致することが判明した。
関連論文リスト
- TripleSurv: Triplet Time-adaptive Coordinate Loss for Survival Analysis [15.496918127515665]
本稿では,学習過程の複雑さを扱える時間適応座標損失関数TripleSurvを提案する。
我々のTripleSurvは3つの実世界の生存データセットと公開合成データセットで評価されている。
論文 参考訳(メタデータ) (2024-01-05T08:37:57Z) - Composite Survival Analysis: Learning with Auxiliary Aggregated
Baselines and Survival Scores [0.0]
Survival Analysis (SA) は時間対イベントモデリングのデフォルト手法である。
本研究は,SAモデルのトレーニングと推論を,(1)集団の全体行動を捉えた集合的ベースラインハザードに分解し,(2)個別に分布した生存スコア,(2)そのメンバーの慣用的確率的ダイナミクスを,完全にパラメトリックな設定でモデル化することで改善する方法を示す。
論文 参考訳(メタデータ) (2023-12-10T11:13:22Z) - CenTime: Event-Conditional Modelling of Censoring in Survival Analysis [49.44664144472712]
CenTimeは、イベントへの時間を直接見積もる、サバイバル分析の新しいアプローチである。
本手法は,非検閲データが少ない場合でも,堅牢なイベント条件検閲機構を特徴とする。
以上の結果から,CenTimeは同等の性能を維持しつつ,死までの時間を予測する上で,最先端のパフォーマンスを提供することがわかった。
論文 参考訳(メタデータ) (2023-09-07T17:07:33Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Think Twice: Measuring the Efficiency of Eliminating Prediction
Shortcuts of Question Answering Models [3.9052860539161918]
そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。
質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。
既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
論文 参考訳(メタデータ) (2023-05-11T14:35:00Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Evaluating Predictive Uncertainty and Robustness to Distributional Shift
Using Real World Data [0.0]
シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。
また,これらの指標を用いたベースライン手法の評価を行った。
論文 参考訳(メタデータ) (2021-11-08T17:32:10Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳(メタデータ) (2020-06-02T16:26:49Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。