論文の概要: Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology

• arxiv url: http://arxiv.org/abs/2308.13068v2
• Date: Wed, 1 Nov 2023 13:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:03:24.270554
• Title: Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology
• Title（参考訳）: 多変量時系列異常検出:派手なアルゴリズムと欠陥評価手法
• Authors: Mohamed El Amine Sehili and Zonghua Zhang
• Abstract要約: 本稿では、MVTS異常検出の文脈において、正常によいプロトコルが弱点を持つ可能性について論じる。 本稿では,PCA(Principal Components Analysis)に基づくシンプルな,かつ難しいベースラインを提案する。このベースラインは,最近のDeep Learning(DL)ベースのアプローチにおいて,一般的なベンチマークデータセットよりも驚くほど優れています。
• 参考スコア（独自算出の注目度）: 2.043517674271996
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multivariate Time Series (MVTS) anomaly detection is a long-standing and challenging research topic that has attracted tremendous research effort from both industry and academia recently. However, a careful study of the literature makes us realize that 1) the community is active but not as organized as other sibling machine learning communities such as Computer Vision (CV) and Natural Language Processing (NLP), and 2) most proposed solutions are evaluated using either inappropriate or highly flawed protocols, with an apparent lack of scientific foundation. So flawed is one very popular protocol, the so-called point-adjust protocol, that a random guess can be shown to systematically outperform all algorithms developed so far. In this paper, we review and evaluate many recent algorithms using more robust protocols and discuss how a normally good protocol may have weaknesses in the context of MVTS anomaly detection and how to mitigate them. We also share our concerns about benchmark datasets, experiment design and evaluation methodology we observe in many works. Furthermore, we propose a simple, yet challenging, baseline based on Principal Components Analysis (PCA) that surprisingly outperforms many recent Deep Learning (DL) based approaches on popular benchmark datasets. The main objective of this work is to stimulate more effort towards important aspects of the research such as data, experiment design, evaluation methodology and result interpretability, instead of putting the highest weight on the design of increasingly more complex and "fancier" algorithms.
• Abstract（参考訳）: 多変量時系列(mvts)異常検出は,近年,産学界と産学界の両方から多大な研究成果が寄せられてきた,長年にわたる困難な研究課題である。 しかし、文学の慎重な研究により、我々はそのことに気づく。 1)コミュニティは活発であるが、コンピュータビジョン(CV)や自然言語処理(NLP)といった他の兄弟の機械学習コミュニティほど組織化されていない。 2) 提案手法の多くは, 不適切なプロトコルや高度に欠陥のあるプロトコルを用いて評価されている。 欠陥は、いわゆるポイント調整プロトコルと呼ばれる非常に一般的なプロトコルであり、これまで開発された全てのアルゴリズムを体系的に上回るランダムな推測を示すことができる。 本稿では,よりロバストなプロトコルを用いた最近のアルゴリズムをレビュー・評価し,mvts異常検出の文脈において,正常に優れたプロトコルがいかに弱みを持つか,どのように軽減するかについて議論する。 また、ベンチマークデータセット、実験設計、多くの作業で観察する評価方法論に関する懸念も共有しています。 さらに,一般的なベンチマークデータセットに基づく最近の多くのディープラーニング(dl)アプローチを驚くほど上回る,主成分分析(pca)に基づく単純かつ挑戦的なベースラインを提案する。 この研究の主な目的は、ますます複雑で「ファンシエ」なアルゴリズムの設計に重きを置くのではなく、データ、実験設計、評価方法論、結果解釈可能性といった研究の重要な側面に対してより多くの努力を促すことである。

関連論文リスト

• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Can Tree Based Approaches Surpass Deep Learning in Anomaly Detection? A Benchmarking Study [0.6291443816903801]
  本稿では,機械学習に基づく異常検出アルゴリズムの多種多様さを評価する。 本論文は, 種々の異常検出アルゴリズムの非バイアス比較を行うことにより, 顕著に寄与する。
  論文  参考訳（メタデータ） (2024-02-11T19:12:51Z)
• A Critical Re-evaluation of Benchmark Datasets for (Deep) Learning-Based Matching Algorithms [11.264467955516706]
  確立された13のデータセットの難易度と適切性を評価するための4つの手法を提案する。 一般的なデータセットの多くは、かなり簡単な分類タスクを処理している。 ベンチマークデータセットを得るための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-03T07:54:54Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Frequent Itemset-driven Search for Finding Minimum Node Separators in Complex Networks [61.2383572324176]
  本稿では,データマイニングにおける頻繁なアイテムセットマイニングの概念をよく知られたメメティック検索フレームワークに統合する,頻繁なアイテムセット駆動探索手法を提案する。 頻繁なアイテムセット組換え演算子を反復的に使用して、高品質なソリューションで頻繁に発生するアイテムセットに基づいた有望な子孫ソリューションを生成する。 特に、29個の新しい上界を発見し、以前の18個の最もよく知られた境界と一致する。
  論文  参考訳（メタデータ） (2022-01-18T11:16:40Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Unsupervised Learning for Robust Fitting:A Reinforcement Learning Approach [25.851792661168698]
  堅牢なモデルフィッティングを解決するための新しいフレームワークを紹介します。 他の方法とは異なり、私たちの仕事は基本的な入力機能に無知です。 実験により,本手法が既存の学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-05T07:14:00Z)
• DERAIL: Diagnostic Environments for Reward And Imitation Learning [9.099589602551573]
  アルゴリズム性能の個々の面を個別にテストする一連の診断タスクを開発する。 その結果,アルゴリズムの性能は実装の詳細に非常に敏感であることが確認された。 ケーススタディは、スイートが設計上の欠陥を特定し、候補ソリューションを迅速に評価する方法を示している。
  論文  参考訳（メタデータ） (2020-12-02T18:07:09Z)
• Comparative Analysis of Extreme Verification Latency Learning Algorithms [3.3439097577935213]
  本稿では、EVLアルゴリズムのいくつかの弱点と強みを指摘するための総合的な調査と比較分析を行う。 この研究は、この分野の既存のアルゴリズムのレビューを研究コミュニティに提供するための、非常に最初の取り組みである。
  論文  参考訳（メタデータ） (2020-11-26T16:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。