論文の概要: SoftED: Metrics for Soft Evaluation of Time Series Event Detection
- arxiv url: http://arxiv.org/abs/2304.00439v2
- Date: Wed, 29 May 2024 08:56:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:41:05.650941
- Title: SoftED: Metrics for Soft Evaluation of Time Series Event Detection
- Title（参考訳）: SoftED:時系列イベント検出のソフト評価基準
- Authors: Rebecca Salles, Janio Lima, Rafaelli Coutinho, Esther Pacitti, Florent Masseglia, Reza Akbarinia, Chao Chen, Jonathan Garibaldi, Fabio Porto, Eduardo Ogasawara,
- Abstract要約: 時系列イベント検出法は,検出精度にのみ焦点をあてた標準分類基準によって評価される。
事象を検出する不正確さは、しばしば、隣り合う検出に反映される先行または遅延効果によって生じる。
本稿では,イベント検出手法のソフトアセスメントのために設計された,新しいメトリクスセットであるSoftEDメトリクスを紹介する。
- 参考スコア（独自算出の注目度）: 4.263111781491367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series event detection methods are evaluated mainly by standard classification metrics that focus solely on detection accuracy. However, inaccuracy in detecting an event can often result from its preceding or delayed effects reflected in neighboring detections. These detections are valuable to trigger necessary actions or help mitigate unwelcome consequences. In this context, current metrics are insufficient and inadequate for the context of event detection. There is a demand for metrics that incorporate both the concept of time and temporal tolerance for neighboring detections. This paper introduces SoftED metrics, a new set of metrics designed for soft evaluating event detection methods. They enable the evaluation of both detection accuracy and the degree to which their detections represent events. They improved event detection evaluation by associating events and their representative detections, incorporating temporal tolerance in over 36\% of experiments compared to the usual classification metrics. SoftED metrics were validated by domain specialists that indicated their contribution to detection evaluation and method selection.
- Abstract（参考訳）: 時系列イベント検出法は,検出精度にのみ焦点をあてた標準分類基準によって評価される。
しかし、事象を検出する不正確さは、しばしば、隣り合う検出に反映される前のまたは遅れた影響から生じる。
これらの検出は、必要なアクションをトリガーしたり、不満足な結果を軽減するのに役立ちます。
この文脈では、現在のメトリクスは不十分であり、イベント検出のコンテキストには不十分である。
近隣の検知に対する時間と時間的寛容の両方の概念を取り入れたメトリクスの需要がある。
本稿では,イベント検出手法のソフトアセスメントのために設計された,新しいメトリクスセットであるSoftEDメトリクスを紹介する。
これにより、検出精度と、その検出がイベントを表す程度の両方を評価することができる。
彼らは、通常の分類指標と比較して、時間的寛容性を36倍以上の実験に取り入れ、イベントと代表的検出を関連付けることにより、イベント検出の評価を改善した。
SoftEDメトリクスは、検出評価とメソッド選択への貢献を示すドメインスペシャリストによって検証された。
関連論文リスト
- Event Detection via Probability Density Function Regression [0.0]
本研究では、時間間隔定義イベント検出問題を再編成する一般化回帰に基づく手法を提案する。
コンピュータビジョンからの熱マップ回帰技術にインスパイアされた本手法は,事象発生時の確率密度を予測することを目的としている。
回帰に基づくアプローチは,様々な最先端のベースラインネットワークやデータセットのセグメンテーションに基づく手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-08-23T01:58:56Z) - Detection Latencies of Anomaly Detectors: An Overlooked Perspective ? [1.8492669447784602]
本稿では,攻撃とエラーの時間的遅延を測定することの関連性について論じる。
本稿では,検知器の評価手法を提案する。
論文 参考訳（メタデータ） (2024-02-14T10:52:39Z) - On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
異常検出法は様々な応用において顕著な成功を収めている。
しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。
本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
論文 参考訳（メタデータ） (2023-10-25T08:02:27Z) - A Machine Learning-based Algorithm for Automated Detection of
Frequency-based Events in Recorded Time Series of Sensor Data [0.0]
本研究では,時系列データ中の周波数に基づく事象を識別する新しい事象検出手法を提案する。
時系列データを解析するためには、訓練対象検出モデルを用いて頭蓋骨内にイベントを検出することができる。
このアルゴリズムは未知のデータセットに基づいて評価され、イベント検出の精度は0.97である。
論文 参考訳（メタデータ） (2023-10-16T21:35:23Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳（メタデータ） (2023-06-27T02:54:07Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:51:32Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳（メタデータ） (2021-10-04T17:59:31Z) - Bandit Quickest Changepoint Detection [55.855465482260165]
すべてのセンサの継続的な監視は、リソースの制約のためにコストがかかる可能性がある。
有限パラメータ化確率分布の一般クラスに対する検出遅延に基づく情報理論の下界を導出する。
本稿では,異なる検知オプションの探索と質問行動の活用をシームレスに両立させる,計算効率のよいオンラインセンシング手法を提案する。
論文 参考訳（メタデータ） (2021-07-22T07:25:35Z) - How Far Should We Look Back to Achieve Effective Real-Time Time-Series
Anomaly Detection? [1.0437764544103274]
異常検出は、予期せぬ事象やデータの異常を識別するプロセスである。
RePAD (Real-time Proactive Anomaly Detection algorithm) は上記の全ての特徴を持つ一般的な手法である。
歴史的データポイントの差がRePADの性能に与える影響は明らかでない。
論文 参考訳（メタデータ） (2021-02-12T14:51:05Z) - Statistical Evaluation of Anomaly Detectors for Sequences [0.0]
逐次データにおける点ベース異常検出の時間的耐性を考慮した精度とリコールの概念を定式化する。
本研究では, 結果の統計的意義を評価するために, 2つの尺度に対してNull分布を求める方法を示す。
論文 参考訳（メタデータ） (2020-08-13T10:07:27Z) - Learning to Evaluate Perception Models Using Planner-Centric Metrics [104.33349410009161]
本稿では,自動運転のタスクに特化して,3次元物体検出の原理的基準を提案する。
私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。
人間の評価では,基準基準値と基準値が一致しないシーンを生成し,基準値の79%が人間の側にあることがわかった。
論文 参考訳（メタデータ） (2020-04-19T02:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。