論文の概要: Unveiling the Flaws: A Critical Analysis of Initialization Effect on Time Series Anomaly Detection

• arxiv url: http://arxiv.org/abs/2408.06620v2
• Date: Tue, 17 Sep 2024 09:14:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 21:29:24.972826
• Title: Unveiling the Flaws: A Critical Analysis of Initialization Effect on Time Series Anomaly Detection
• Title（参考訳）: 欠陥の解消:時系列異常検出における初期化効果の臨界解析
• Authors: Alex Koran, Hadi Hojjati, Narges Armanfard,
• Abstract要約: 時系列異常検出(TSAD)のための深層学習は,過去10年間で大きな注目を集めている。 近年の研究はこれらのモデルに疑問を呈し、その成果は欠陥評価技術に寄与している。 本稿では,TSADモデルの性能に対する影響を批判的に分析する。
• 参考スコア（独自算出の注目度）: 6.923007095578702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning for time-series anomaly detection (TSAD) has gained significant attention over the past decade. Despite the reported improvements in several papers, the practical application of these models remains limited. Recent studies have cast doubt on these models, attributing their results to flawed evaluation techniques. However, the impact of initialization has largely been overlooked. This paper provides a critical analysis of the initialization effects on TSAD model performance. Our extensive experiments reveal that TSAD models are highly sensitive to hyperparameters such as window size, seed number, and normalization. This sensitivity often leads to significant variability in performance, which can be exploited to artificially inflate the reported efficacy of these models. We demonstrate that even minor changes in initialization parameters can result in performance variations that overshadow the claimed improvements from novel model architectures. Our findings highlight the need for rigorous evaluation protocols and transparent reporting of preprocessing steps to ensure the reliability and fairness of anomaly detection methods. This paper calls for a more cautious interpretation of TSAD advancements and encourages the development of more robust and transparent evaluation practices to advance the field and its practical applications.
• Abstract（参考訳）: 時系列異常検出(TSAD)のための深層学習は,過去10年間で大きな注目を集めている。 いくつかの論文で改善が報告されているにもかかわらず、これらのモデルの実用的応用は依然として限られている。 近年の研究はこれらのモデルに疑問を呈し、その成果は欠陥評価技術に寄与している。 しかし、初期化の影響はおおむね見過ごされている。 本稿では,TSADモデルの性能に対する初期化効果を批判的に分析する。 大規模な実験により,TSADモデルはウィンドウサイズ,シード数,正規化などのハイパーパラメータに非常に敏感であることが判明した。 この感度は、しばしば性能に大きなばらつきをもたらし、これらのモデルの報告された有効性を人工的にインフレーションするために利用することができる。 初期化パラメータの微妙な変更さえも、新しいモデルアーキテクチャから要求される改善を覆すパフォーマンスの変動をもたらすことを実証する。 本研究は,異常検出手法の信頼性と公平性を確保するため,厳密な評価プロトコルと事前処理手順の透過的な報告の必要性を強調した。 本稿では、TSADの進歩をより慎重に解釈し、より堅牢で透明な評価手法の開発を奨励し、分野とその実践的応用について述べる。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Enhancing Adversarial Attacks via Parameter Adaptive Adversarial Attack [12.647669152300871]
  敵攻撃アルゴリズムの複雑さについて検討し、敵攻撃過程をDSP(Directional Supervision Process)とDOP(Directional Optimization Process)の2つのクリティカルフェーズに分割する。 逆効果に対するモデルの影響は、しばしば現在の研究で見落とされ、DSPを無視する。 特定の条件下では、微調整モデルパラメータはDSPの品質を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-08-14T17:51:15Z)
• Robust VAEs via Generating Process of Noise Augmented Data [9.366139389037489]
  本稿では,原データと雑音増大データ間の潜時空間のばらつきを規則化し,ロバスト性を高める新しい枠組みを提案する。 実験により,ロバスト拡張変分オートエンコーダ(RAVEN)と呼ばれるこの手法は,対向入力に対して優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2024-07-26T09:55:34Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Towards a more inductive world for drug repurposing approaches [0.545520830707066]
  ドラッグ・ターゲット・インタラクション(DTI)の予測は、薬物再資源化において重要な課題である。 DTI予測法は一般化に欠け, インフレーション性能を損なうことを示す。 そこで本研究では, 生物学的に駆動される負のエッジサブサンプリングの戦略を提案し, 新たに発見された相互作用が真であることをin vitroで検証した。
  論文  参考訳（メタデータ） (2023-11-21T15:28:44Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Analysis of Empirical Mode Decomposition-based Load and Renewable Time Series Forecasting [1.1602089225841632]
  歴史的負荷と再生可能発生に関連する時系列(TS)は、固有のモード機能(IMF)に分解される この方法は、モーダルエイリアスや境界効果問題など、いくつかの問題を引き起こす傾向がある。 これらの問題を過小評価すると、リアルタイムアプリケーションにおける予測モデルの性能が低下する可能性がある。
  論文  参考訳（メタデータ） (2020-11-23T14:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。