論文の概要: SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection
- arxiv url: http://arxiv.org/abs/2003.05731v4
- Date: Fri, 5 Mar 2021 01:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 14:13:33.372000
- Title: SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection
- Title(参考訳): SUOD: 大規模無監督不均質外乱検出の高速化
- Authors: Yue Zhao, Xiyang Hu, Cheng Cheng, Cong Wang, Changlin Wan, Wen Wang,
Jianing Yang, Haoping Bai, Zheng Li, Cao Xiao, Yunlong Wang, Zhi Qiao, Jimeng
Sun, Leman Akoglu
- Abstract要約: 外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
- 参考スコア(独自算出の注目度): 63.253850875265115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Outlier detection (OD) is a key machine learning (ML) task for identifying
abnormal objects from general samples with numerous high-stake applications
including fraud detection and intrusion detection. Due to the lack of ground
truth labels, practitioners often have to build a large number of unsupervised,
heterogeneous models (i.e., different algorithms with varying hyperparameters)
for further combination and analysis, rather than relying on a single model.
How to accelerate the training and scoring on new-coming samples by
outlyingness (referred as prediction throughout the paper) with a large number
of unsupervised, heterogeneous OD models? In this study, we propose a modular
acceleration system, called SUOD, to address it. The proposed system focuses on
three complementary acceleration aspects (data reduction for high-dimensional
data, approximation for costly models, and taskload imbalance optimization for
distributed environment), while maintaining performance accuracy. Extensive
experiments on more than 20 benchmark datasets demonstrate SUOD's effectiveness
in heterogeneous OD acceleration, along with a real-world deployment case on
fraudulent claim analysis at IQVIA, a leading healthcare firm. We open-source
SUOD for reproducibility and accessibility.
- Abstract(参考訳): Outlier Detection (OD) は、不正検出や侵入検出を含む多数の高スループットアプリケーションを用いて、一般的なサンプルから異常物体を識別する重要な機械学習(ML)タスクである。
基底的真理ラベルの欠如のため、実践者は単一のモデルに頼るのではなく、さらなる組み合わせと分析のために多くの教師なしの異種モデル(すなわち、異なるハイパーパラメータを持つ異なるアルゴリズム)を構築する必要がある。
大量の教師なし、異種ODモデルを用いて、新たなサンプルのトレーニングとスコアの促進を(論文全体にわたって予測として参照)どのように行うか?
本研究では,SUODと呼ばれるモジュール型加速度システムを提案する。
提案手法は,3つの相補的加速度特性(高次元データに対するデータ削減,コストモデル近似,分散環境におけるタスク負荷不均衡最適化)に着目し,性能の精度を維持した。
20以上のベンチマークデータセットに対する大規模な実験は、SUODがヘテロジニアスODアクセラレーションに有効であることと、主要な医療企業であるIQVIAにおける不正クレーム分析の現実的な展開事例を示している。
再現性とアクセシビリティのためのSUODをオープンソースとして公開しています。
関連論文リスト
- Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。
従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。
我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
論文 参考訳(メタデータ) (2024-07-04T14:28:52Z) - COFT-AD: COntrastive Fine-Tuning for Few-Shot Anomaly Detection [19.946344683965425]
FSADの課題に対処する新しい手法を提案する。
重みをモデル化するために、大規模なソースデータセットで事前トレーニングされたモデルを使用します。
提案手法の有効性を示すために,3つの制御されたADタスクと4つの実世界のADタスクに対して,数発の異常検出を行った。
論文 参考訳(メタデータ) (2024-02-29T09:48:19Z) - Semi-supervised Open-World Object Detection [74.95267079505145]
半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。
提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。
我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-02-25T07:12:51Z) - MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。
具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。
我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
論文 参考訳(メタデータ) (2024-01-15T12:51:13Z) - Open-Vocabulary Video Anomaly Detection [57.552523669351636]
監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。
近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。
本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
論文 参考訳(メタデータ) (2023-11-13T02:54:17Z) - LafitE: Latent Diffusion Model with Feature Editing for Unsupervised
Multi-class Anomaly Detection [12.596635603629725]
我々は,通常のデータのみにアクセス可能な場合に,複数のクラスに属するオブジェクトから異常を検出する統一モデルを開発した。
まず、生成的アプローチについて検討し、再構成のための潜伏拡散モデルについて検討する。
「拡散モデルの入力特徴空間を修正し、アイデンティティショートカットをさらに緩和する特徴編集戦略を導入する。」
論文 参考訳(メタデータ) (2023-07-16T14:41:22Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳(メタデータ) (2021-09-08T14:07:55Z) - Improving Variational Autoencoder based Out-of-Distribution Detection
for Embedded Real-time Applications [2.9327503320877457]
アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。
本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。
提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。
また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
論文 参考訳(メタデータ) (2021-07-25T07:52:53Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2020-04-15T06:13:33Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。