論文の概要: Novel Techniques to Assess Predictive Systems and Reduce Their Alarm Burden

• arxiv url: http://arxiv.org/abs/2102.05691v1
• Date: Wed, 10 Feb 2021 19:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 18:16:38.353533
• Title: Novel Techniques to Assess Predictive Systems and Reduce Their Alarm Burden
• Title（参考訳）: 予測システムの評価とアラームの軽減のための新しい手法
• Authors: Jonathan A. Handler, Craig F. Feied, Michael T. Gillam
• Abstract要約: そこで本研究では,実用関数を用いた性能評価手法(「u-metrics」)を導入し,各予測値を評価する。 従来のパフォーマンス指標と比較して、u-metricsはワークフローコンテキストで動作する予測器の現実の利点とコストをより正確に反映する。 また,予測を一定期間抑制し,一般に予測性能を向上する手法である「スヌーズ」の使用についても述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of a binary classifier ("predictor") depends heavily upon the context ("workflow") in which it operates. Classic measures of predictor performance do not reflect the realized utility of predictors unless certain implied workflow assumptions are met. Failure to meet these implied assumptions results in suboptimal classifier implementations and a mismatch between predicted or assessed performance and the actual performance obtained in real-world deployments. The mismatch commonly arises when multiple predictions can be made for the same event, the event is relatively rare, and redundant true positive predictions for the same event add little value, e.g., a system that makes a prediction each minute, repeatedly issuing interruptive alarms for a predicted event that may never occur. We explain why classic metrics do not correctly represent the performance of predictors in such contexts, and introduce an improved performance assessment technique ("u-metrics") using utility functions to score each prediction. U-metrics explicitly account for variability in prediction utility arising from temporal relationships. Compared to traditional performance measures, u-metrics more accurately reflect the real-world benefits and costs of a predictor operating in a workflow context. The difference can be significant. We also describe the use of "snoozing," a method whereby predictions are suppressed for a period of time, commonly improving predictor performance by reducing false positives while retaining the capture of events. Snoozing is especially useful when predictors generate interruptive alerts, as so often happens in clinical practice. Utility-based performance metrics correctly predict and track the performance benefits of snoozing, whereas traditional performance metrics do not.
• Abstract（参考訳）: バイナリ分類子("predictor")のパフォーマンスは、それが動作するコンテキスト("workflow")に大きく依存します。 予測器の性能の古典的な測定は特定の暗黙のワークフローの仮定が満たされない限り予測器の実現された実用性を反映しません。 これらの暗黙の仮定を満たさないと、最適化された分類器の実装と、予測または評価された性能と実際のデプロイメントで得られた実際のパフォーマンスのミスマッチが発生する。 このミスマッチは、同じ事象に対して複数の予測を行うことができ、イベントは比較的稀であり、同じ事象に対する冗長な真の正の予測は、例えば、毎分予測を行うシステムや、予測される事象に対して中断的なアラームを繰り返し発行するなど、ほとんど価値を付加しない。 本稿では,従来の指標がこれらの文脈における予測器の性能を正しく表現しない理由を説明し,実用関数を用いた性能評価手法("u-metrics")を導入する。 U-metricsは時間的関係から生じる予測ユーティリティの変動を明示的に説明する。 従来のパフォーマンス指標と比較して、u-metricsはワークフローコンテキストで動作する予測器の現実の利点とコストをより正確に反映する。 違いは大きいかもしれません。 また,予測を一定期間抑制する手法である"snoozing"の使用について述べるとともに,事象の捕捉を保ちながら偽陽性を低減し,予測器の性能を向上させる手法について述べる。 スヌージングは、臨床現場で頻繁に発生するように、予測者が中断警報を生成するときに特に有用です。 ユーティリティベースのパフォーマンスメトリクスはスヌーズのパフォーマンスの利点を正しく予測し追跡するが、従来のパフォーマンスメトリクスはそうではない。

関連論文リスト

• Imputation for prediction: beware of diminishing returns [12.424671213282256]
  失敗の値はさまざまな分野に分散しており、予測モデルをトレーニングしデプロイする上での課題を提起している。 最近の理論的および実証的な研究は、単純な定数計算が一貫性と競争力を持つことを示唆している。 本研究の目的は, 先進的な計算手法への投資が, 予測精度を著しく向上させるかどうかを明らかにすることである。
  論文  参考訳（メタデータ） (2024-07-29T09:01:06Z)
• Contract Scheduling with Distributional and Multiple Advice [37.64065953072774]
  これまでの研究によると、割り込み時間に関する予測は、契約ベースのシステムの性能を改善するのに役立ちます。 本稿では,予測が確率分布の形で行われる,より汎用的で現実的な学習強化設定の導入と研究を行う。 提案手法は,分布設定における誤差の予測に頑健であることを示す。
  論文  参考訳（メタデータ） (2024-04-18T19:58:11Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Optimized conformal classification using gradient descent approximation [0.2538209532048866]
  コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。 我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。 実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
  論文  参考訳（メタデータ） (2021-05-24T13:14:41Z)
• All-Clear Flare Prediction Using Interval-based Time Series Classifiers [0.21028463367241026]
  オールクリアフレア予測は、非フレアインスタンスの予測に重点を置く太陽フレア予測の一種です。 偽陰性(ミス)を避けることと偽陽性(偽アラーム)を減らすことの適切なバランスを見つけることは、しばしば困難である。
  論文  参考訳（メタデータ） (2021-05-03T22:40:05Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。