論文の概要: UADB: Unsupervised Anomaly Detection Booster
- arxiv url: http://arxiv.org/abs/2306.01997v2
- Date: Tue, 26 Dec 2023 15:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 22:46:46.671532
- Title: UADB: Unsupervised Anomaly Detection Booster
- Title(参考訳): UADB: 教師なし異常検出ブースター
- Authors: Hangting Ye, Zhining Liu, Xinyi Shen, Wei Cao, Shun Zheng, Xiaofan
Gui, Huishuai Zhang, Yi Chang, Jiang Bian
- Abstract要約: 教師なし異常検出(Unsupervised Anomaly Detection, UAD)は、その広範囲な実世界の応用のために重要なデータマイニング問題である。
そのような複雑さを記述できる仮定はひとつもなく、すべてのシナリオで有効である。
我々は、異なるデータに適応可能な任意のUADモデルに権限を与える一般的なUADブースタ(UADB)を提案する。
- 参考スコア(独自算出の注目度): 29.831918685340433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised Anomaly Detection (UAD) is a key data mining problem owing to
its wide real-world applications. Due to the complete absence of supervision
signals, UAD methods rely on implicit assumptions about anomalous patterns
(e.g., scattered/sparsely/densely clustered) to detect anomalies. However,
real-world data are complex and vary significantly across different domains. No
single assumption can describe such complexity and be valid in all scenarios.
This is also confirmed by recent research that shows no UAD method is
omnipotent. Based on above observations, instead of searching for a magic
universal winner assumption, we seek to design a general UAD Booster (UADB)
that empowers any UAD models with adaptability to different data. This is a
challenging task given the heterogeneous model structures and assumptions
adopted by existing UAD methods. To achieve this, we dive deep into the UAD
problem and find that compared to normal data, anomalies (i) lack clear
structure/pattern in feature space, thus (ii) harder to learn by model without
a suitable assumption, and finally, leads to (iii) high variance between
different learners. In light of these findings, we propose to (i) distill the
knowledge of the source UAD model to an imitation learner (booster) that holds
no data assumption, then (ii) exploit the variance between them to perform
automatic correction, and thus (iii) improve the booster over the original UAD
model. We use a neural network as the booster for its strong expressive power
as a universal approximator and ability to perform flexible post-hoc tuning.
Note that UADB is a model-agnostic framework that can enhance heterogeneous UAD
models in a unified way. Extensive experiments on over 80 tabular datasets
demonstrate the effectiveness of UADB.
- Abstract(参考訳): 教師なし異常検出(unsupervised anomaly detection, uad)は、その幅広い実世界応用のために重要なデータマイニング問題である。
監視信号の完全欠如により、UDA法は異常を検出するために異常パターン(例えば、散在/疎集)に関する暗黙の仮定に依存する。
しかし、現実世界のデータは複雑であり、異なる領域で大きく異なる。
そのような複雑さを記述できる仮定はひとつもなく、すべてのシナリオで有効である。
これは、UAD法が全能でないことを示す最近の研究でも確認されている。
上記の観測に基づいて、魔法の普遍的な勝者の仮定を探す代わりに、異なるデータに適応可能な任意の UAD モデルに権限を与える一般的な UAD Booster (UADB) を設計することを模索する。
既存のUADメソッドで採用されている異種モデル構造と仮定を考えると、これは難しい作業です。
これを実現するために、我々はUDAの問題を深く掘り下げて、通常のデータや異常と比べて、それを見つける。
(i)特徴空間における明確な構造・パターンの欠如
(二)適切な仮定なしにモデルで学ぶのが難しく、最終的に導くこと
(iii)異なる学習者間の高いばらつき。
これらの知見を踏まえて,我々は提案する。
(i)データ仮定を持たない模倣学習者(ブースター)にソースuadモデルの知識を蒸留する。
(ii)両者のばらつきを利用して自動補正を行うため、
(iii)元のuadモデルよりもブースターが向上した。
ニューラルネットワークを強力な表現力のブースターとして、普遍近似器として使用し、フレキシブルなポストホックチューニングを行う。
UADBは、統一された方法で異種UADモデルを拡張できるモデルに依存しないフレームワークである。
80以上のグラフデータセットに対する大規模な実験は、UADBの有効性を示している。
関連論文リスト
- DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series [25.434379659643707]
時系列異常検出では、ラベル付きデータの不足が正確なモデルの開発に困難をもたらす。
時系列における異常検出のための新しいドメインコントラスト学習モデル(DACAD)を提案する。
本モデルでは,ソース領域に対する教師付きコントラスト損失と,ターゲット領域に対する自己監督型コントラスト型3重項損失を用いる。
論文 参考訳(メタデータ) (2024-04-17T11:20:14Z) - Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。
この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。
セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
論文 参考訳(メタデータ) (2024-04-16T17:38:26Z) - Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳(メタデータ) (2024-01-06T07:30:41Z) - Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳(メタデータ) (2023-11-19T05:37:18Z) - Enhancing Interpretability and Generalizability in Extended Isolation Forests [5.139809663513828]
ExIFFI (Extended isolated Forest Feature Importance) は、EIF(Extended isolated Forest)モデルによる予測を説明する手法である。
EIF+は、修正された分割戦略により、見えない異常を検出するモデルの能力を高めるように設計されている。
ExIFFIは、11の現実世界のデータセットのうち8つで、他の教師なしの解釈可能性メソッドよりも優れています。
論文 参考訳(メタデータ) (2023-10-09T07:24:04Z) - DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data [0.0]
本稿では,Transformer と Dual Temporal Convolutional Network (TCN) に基づく異常検出・診断モデル DTAAD を提案する。
予測精度の向上と相関性の向上のために,スケーリング手法とフィードバック機構を導入している。
7つの公開データセットに対する実験により、DTAADは検出および診断性能の両面で現在最先端のベースライン法の大部分を超えていることが確認された。
論文 参考訳(メタデータ) (2023-02-17T06:59:45Z) - Data-Efficient and Interpretable Tabular Anomaly Detection [54.15249463477813]
本稿では,ホワイトボックスモデルクラスである一般化付加モデルを適用し,異常を検出する新しいフレームワークを提案する。
さらに、提案フレームワークであるDIADは、ラベル付きデータの少量を組み込んで、半教師付き設定における異常検出性能をさらに向上させることができる。
論文 参考訳(メタデータ) (2022-03-03T22:02:56Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳(メタデータ) (2020-02-20T03:13:58Z) - Towards Out-of-Distribution Detection with Divergence Guarantee in Deep
Generative Models [22.697643259435115]
深層生成モデルは、分布外データ(OOD)に対して、分布内データ(ID)よりも高い確率を割り当てることができる。
フローベースモデルにおける散逸を解析するための定理を証明している。
本稿では,2つのグループ異常検出手法を提案する。
論文 参考訳(メタデータ) (2020-02-09T09:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。