Fugu-MT 論文翻訳(概要): Behavior of prediction performance metrics with rare events

論文の概要: Behavior of prediction performance metrics with rare events

arxiv url: http://arxiv.org/abs/2504.16185v1
Date: Tue, 22 Apr 2025 18:20:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:52.889601
Title: Behavior of prediction performance metrics with rare events
Title（参考訳）: 稀な事象を伴う予測性能指標の挙動
Authors: Emily Minus, R. Yates Coley, Susan M. Shortreed, Brian D. Williamson,
Abstract要約: 受信演算子特性曲線(AUC)の下の領域は、バイナリ予測モデルと共に報告されることが多い。稀な事象におけるAUCが不安定であるかどうかをシミュレーションで検討した。
参考スコア（独自算出の注目度）: 1.7057141452318496
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Area under the receiving operator characteristic curve (AUC) is commonly reported alongside binary prediction models. However, there are concerns that AUC might be a misleading measure of prediction performance in the rare event setting. This setting is common since many events of clinical importance are rare events. We conducted a simulation study to determine when or whether AUC is unstable in the rare event setting. Specifically, we aimed to determine whether the bias and variance of AUC are driven by the number of events or the event rate. We also investigated the behavior of other commonly used measures of prediction performance, including positive predictive value, accuracy, sensitivity, and specificity. Our results indicate that poor AUC behavior -- as measured by empirical bias, variability of cross-validated AUC estimates, and empirical coverage of confidence intervals -- is driven by the minimum class size, not event rate. Performance of sensitivity is driven by the number of events, while that of specificity is driven by the number of non-events. Other measures, including positive predictive value and accuracy, depend on the event rate even in large samples. AUC is reliable in the rare event setting provided that the total number of events is moderately large.
Abstract（参考訳）: 受信演算子特性曲線(AUC)の下の領域は、バイナリ予測モデルと共に報告されることが多い。しかし、AUCは稀なイベント設定における予測性能の誤解を招く指標であるのではないかという懸念がある。多くの臨床的に重要な出来事が稀な出来事であるため、この設定は一般的である。稀な事象におけるAUCが不安定であるかどうかをシミュレーションで検討した。具体的には、AUCのバイアスとばらつきがイベント数やイベント率によって引き起こされるかを決定することを目的としている。また, 正の予測値, 精度, 感度, 特異性など, 予測性能に関する他の一般的な指標の挙動についても検討した。以上の結果から,経験的バイアス,有意なAUC推定値の変動性,信頼区間の実証的カバレッジなど,AUCの貧弱な行動は,事象率ではなく最小クラスサイズによって引き起こされることが示唆された。感度のパフォーマンスはイベントの数によって駆動されるが、特異性のパフォーマンスは非イベントの数によって駆動される。肯定的な予測値や精度を含むその他の指標は、大規模なサンプルであってもイベントレートに依存する。 AUCは、イベントの総数が適度に大きい場合、まれなイベント設定で信頼性が高い。

関連論文リスト

Evidential time-to-event prediction with calibrated uncertainty quantification [12.446406577462069]
Time-to-event分析は、臨床予後と治療勧告に関する洞察を提供する。本稿では,時間とイベントの予測に特化して設計された明らかな回帰モデルを提案する。我々のモデルは正確かつ信頼性の高い性能を提供し、最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2024-11-12T15:06:04Z)
MENSA: A Multi-Event Network for Survival Analysis with Trajectory-based Likelihood Estimation [4.0913802846346625]
マルチイベントサバイバル分析のための新しい深層学習手法であるMENSAを紹介する。 MeNSAは、イベント間の複雑な依存構造をキャプチャしながら、入力特徴の表現を共同で学習する。シングルイベント、競合リスク、マルチイベント問題において、優れた識別性能と正確な時間対イベント予測を一貫して提供する。
論文参考訳（メタデータ） (2024-09-10T14:02:34Z)
Evaluating the Role of Data Enrichment Approaches Towards Rare Event Analysis in Manufacturing [1.3980986259786223]
希少な出来事は、一般的な通常の出来事よりもはるかに低い頻度で起こる出来事である。製造業では、計画外のダウンタイム、設備寿命の短縮、高エネルギー消費につながるため、このような事象を予測することが特に重要である。本稿では,データエンリッチメント技術と教師付き機械学習技術を組み合わせて,まれな事象の検出と予測を行う役割について検討する。
論文参考訳（メタデータ） (2024-07-01T00:05:56Z)
SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
論文参考訳（メタデータ） (2023-10-25T03:33:45Z)
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文参考訳（メタデータ） (2023-10-25T02:37:51Z)
CenTime: Event-Conditional Modelling of Censoring in Survival Analysis [49.44664144472712]
CenTimeは、イベントへの時間を直接見積もる、サバイバル分析の新しいアプローチである。本手法は,非検閲データが少ない場合でも,堅牢なイベント条件検閲機構を特徴とする。以上の結果から,CenTimeは同等の性能を維持しつつ,死までの時間を予測する上で,最先端のパフォーマンスを提供することがわかった。
論文参考訳（メタデータ） (2023-09-07T17:07:33Z)
Abnormal Event Detection via Hypergraph Contrastive Learning [54.80429341415227]
異常事象検出は多くの実アプリケーションにおいて重要な役割を果たす。本稿では,分散異種情報ネットワークにおける異常事象検出問題について検討する。 AEHCLと呼ばれる新しいハイパーグラフコントラスト学習法が,異常事象のパターンをフルに捉えるために提案されている。
論文参考訳（メタデータ） (2023-04-02T08:23:20Z)
AA-Forecast: Anomaly-Aware Forecast for Extreme Events [25.89754218631525]
時系列モデルは、現実世界のデータセットでよく見られる極端なイベントや異常を扱うことが多い。本稿では,これまで見られた異常の影響を利用して予測精度を向上する異常認識予測フレームワークを提案する。特に、このフレームワークは自動で異常を抽出し、注意機構を通じてそれらを組み込んで、将来の極端な事象の正確性を高める。
論文参考訳（メタデータ） (2022-08-21T17:51:46Z)
When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文参考訳（メタデータ） (2021-06-07T18:31:47Z)
Novel Techniques to Assess Predictive Systems and Reduce Their Alarm Burden [0.0]
そこで本研究では,実用関数を用いた性能評価手法(「u-metrics」)を導入し,各予測値を評価する。従来のパフォーマンス指標と比較して、u-metricsはワークフローコンテキストで動作する予測器の現実の利点とコストをより正確に反映する。また,予測を一定期間抑制し,一般に予測性能を向上する手法である「スヌーズ」の使用についても述べる。
論文参考訳（メタデータ） (2021-02-10T19:05:06Z)
Enabling Counterfactual Survival Analysis with Balanced Representations [64.17342727357618]
生存データは様々な医学的応用、すなわち薬物開発、リスクプロファイリング、臨床試験で頻繁に見られる。本稿では,生存結果に適用可能な対実的推論のための理論的基盤を持つ統一的枠組みを提案する。
論文参考訳（メタデータ） (2020-06-14T01:15:00Z)
Neural Conditional Event Time Models [11.920908437656413]
イベント時間モデルは、既知の特徴に基づいて、関心のあるイベントの発生時間を予測する。我々は,a)事象発生確率,b)発生予測時刻を区別する条件付き事象時刻モデルを開発する。その結果, 合成データ, 医療イベント (MIMIC-III) , ソーシャルメディア投稿において, イベント発生およびイベント時間予測の精度が向上した。
論文参考訳（メタデータ） (2020-04-03T05:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。