論文の概要: ODIM: Outlier Detection via Likelihood of Under-Fitted Generative Models
- arxiv url: http://arxiv.org/abs/2301.04257v2
- Date: Tue, 16 Jul 2024 07:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 00:30:09.206530
- Title: ODIM: Outlier Detection via Likelihood of Under-Fitted Generative Models
- Title(参考訳): ODIM:Under-Fitted Generative Modelの類似による外部検出
- Authors: Dongha Kim, Jaesung Hwang, Jongjin Lee, Kunwoong Kim, Yongdai Kim,
- Abstract要約: Unsupervised Outlier Detection (UOD) とは、非教師付き外乱検出(unsupervised outlier detection, UOD)問題である。
我々は、IM効果(ODIM)による外れ検知と呼ばれる新しい手法を開発した。
注目すべきなのは、ODIMはほんの数回の更新しか必要とせず、計算効率が他のディープラーニングベースのアルゴリズムの何倍も高速であることだ。
- 参考スコア(独自算出の注目度): 4.956259629094216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The unsupervised outlier detection (UOD) problem refers to a task to identify inliers given training data which contain outliers as well as inliers, without any labeled information about inliers and outliers. It has been widely recognized that using fully-trained likelihood-based deep generative models (DGMs) often results in poor performance in distinguishing inliers from outliers. In this study, we claim that the likelihood itself could serve as powerful evidence for identifying inliers in UOD tasks, provided that DGMs are carefully under-fitted. Our approach begins with a novel observation called the inlier-memorization (IM) effect-when training a deep generative model with data including outliers, the model initially memorizes inliers before outliers. Based on this finding, we develop a new method called the outlier detection via the IM effect (ODIM). Remarkably, the ODIM requires only a few updates, making it computationally efficient-at least tens of times faster than other deep-learning-based algorithms. Also, the ODIM filters out outliers excellently, regardless of the data type, including tabular, image, and text data. To validate the superiority and efficiency of our method, we provide extensive empirical analyses on close to 60 datasets.
- Abstract(参考訳): unsupervised outlier detection (UOD) 問題とは、インリアーとインリアーを含む訓練データからインリアーとインリアーのラベルを付けずにインリアーを識別するタスクである。
完全に訓練された確率ベース深部生成モデル(DGM)を用いることで、不整合と外れ値の区別性能が低下することが広く認識されている。
本研究は、DGMが慎重に不適合であることを前提として、UDDタスクの不整合を識別する強力な証拠となる可能性を主張する。
我々のアプローチは、inlier-memorization(IM)エフェクトと呼ばれる新しい観測から始まる。
そこで本研究では, IM効果(ODIM)を用いた外乱検出法を開発した。
注目すべきなのは、ODIMは数回のアップデートしか必要とせず、計算効率が他のディープラーニングベースのアルゴリズムの何倍も高速であることだ。
また、ODIMは、表、画像、テキストデータを含むデータの種類にかかわらず、アウトレーヤを良好にフィルタリングする。
提案手法の優位性と効率性を検証するため,60近いデータセットに対して広範な実験分析を行った。
関連論文リスト
- ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect [2.3961612657966946]
外乱検出(英: Outlier detection, OD)とは、特定のデータや今後のデータから異常な観測(または外乱)を識別するタスクである。
Inlier-memorization (IM) 効果は、生成モデルが初期の学習段階において、アウトリーチよりも前のインリーチを記憶することを示唆している。
IM効果を最大限に活用し,UODタスクに対処する理論的原理的手法を提案する。
論文 参考訳(メタデータ) (2024-08-19T08:40:53Z) - SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - Diversified Outlier Exposure for Out-of-Distribution Detection via
Informative Extrapolation [110.34982764201689]
Out-of-Distribution(OOD)検出は、現実のアプリケーションに信頼性の高い機械学習モデルをデプロイするために重要である。
近年, 外部曝露によるOOD検出に有意な結果が得られた。
本稿では,補助外乱量に基づく情報外挿による効果的なOOD検出のための新しい枠組み,すなわちDivOE(Diversified Outlier Exposure)を提案する。
論文 参考訳(メタデータ) (2023-10-21T07:16:09Z) - Quantile-based Maximum Likelihood Training for Outlier Detection [5.902139925693801]
我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。
本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
論文 参考訳(メタデータ) (2023-08-20T22:27:54Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳(メタデータ) (2023-03-21T09:07:15Z) - Are we really making much progress in unsupervised graph outlier
detection? Revisiting the problem with new insight and superior method [36.72922385614812]
UNODは、グラフにおける典型的な2種類の外れ値(構造外値と文脈外値)の検出に重点を置いている。
最も広く使われているアウトリー・インジェクションのアプローチは、深刻なデータ漏洩問題であることがわかった。
本稿では,分散モデルと属性再構成モデルを組み合わせた分散グラフ外乱検出(VGOD)手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T04:09:35Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳(メタデータ) (2022-09-26T15:59:55Z) - Unsupervised Outlier Detection using Memory and Contrastive Learning [53.77693158251706]
特徴空間における外乱検出は,外乱検出から外乱検出までの特徴距離を測定することで行うことができると考えている。
本稿では,メモリモジュールとコントラスト学習モジュールを用いたMCODフレームワークを提案する。
提案したMCODは高い性能を達成し,9つの最先端手法より優れる。
論文 参考訳(メタデータ) (2021-07-27T07:35:42Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T01:36:08Z) - Homophily Outlier Detection in Non-IID Categorical Data [43.51919113927003]
この研究は、新しい外れ値検出フレームワークとその2つのインスタンスを導入し、カテゴリデータの外れ値を特定する。
まず、分布に敏感な外部因子とその相互依存性を値値グラフベースの表現に定義し、組み込む。
学習した値の外れ度は、直接の外れ値検出または特徴選択の除外を可能にする。
論文 参考訳(メタデータ) (2021-03-21T23:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。