論文の概要: ODIM: an efficient method to detect outliers via inlier-memorization
effect of deep generative models
- arxiv url: http://arxiv.org/abs/2301.04257v1
- Date: Wed, 11 Jan 2023 01:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 14:03:12.778838
- Title: ODIM: an efficient method to detect outliers via inlier-memorization
effect of deep generative models
- Title(参考訳): ODIM : 深部生成モデルにおける不整合記憶効果による外乱の効率的な検出法
- Authors: Dongha Kim, Jaesung Hwang, Jongjin Lee, Kunwoong Kim, Yongdai Kim
- Abstract要約: 本研究は,トレーニングデータに外乱を含む教師なし外乱検出問題を解決することを目的とする。
本稿では,深層ニューラルネットワークを用いたトレーニングデータセットにおける外れ値の同定を行うための,強力で効率的な学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.1498833540989413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying whether a given sample is an outlier or not is an important issue
in various real-world domains. This study aims to solve the unsupervised
outlier detection problem where training data contain outliers, but any label
information about inliers and outliers is not given. We propose a powerful and
efficient learning framework to identify outliers in a training data set using
deep neural networks. We start with a new observation called the
inlier-memorization (IM) effect. When we train a deep generative model with
data contaminated with outliers, the model first memorizes inliers before
outliers. Exploiting this finding, we develop a new method called the outlier
detection via the IM effect (ODIM). The ODIM only requires a few updates; thus,
it is computationally efficient, tens of times faster than other
deep-learning-based algorithms. Also, the ODIM filters out outliers
successfully, regardless of the types of data, such as tabular, image, and
sequential. We empirically demonstrate the superiority and efficiency of the
ODIM by analyzing 20 data sets.
- Abstract(参考訳): サンプルが外れ値であるかどうかを特定することは、さまざまな現実世界のドメインにおいて重要な問題である。
本研究の目的は、トレーニングデータに異常値が含まれているという教師なしの異常値検出の問題を解決することである。
本稿では,深層ニューラルネットワークを用いたトレーニングデータセットにおける外れ値の同定のための,強力で効率的な学習フレームワークを提案する。
Inlier-memorization (IM) 効果と呼ばれる新しい観測結果から始める。
データが外れ値で汚染された深層生成モデルを訓練すると、そのモデルはまず外れ値の前に不規則値を記憶する。
本研究は, IM効果(ODIM)を用いた外乱検出法を新たに開発した。
ODIMはいくつかの更新しか必要としないため、計算的に効率的であり、他のディープラーニングベースのアルゴリズムの何倍も高速である。
また、ODIMは、表、画像、シーケンシャルといったデータの種類にかかわらず、アウトリーをうまくフィルタする。
20個のデータセットを解析することにより,ODIMの優位性と効率性を実証的に実証した。
関連論文リスト
- SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - Quantile-based Maximum Likelihood Training for Outlier Detection [6.332086939892435]
我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。
本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
論文 参考訳(メタデータ) (2023-08-20T22:27:54Z) - Are we really making much progress in unsupervised graph outlier
detection? Revisiting the problem with new insight and superior method [36.72922385614812]
UNODは、グラフにおける典型的な2種類の外れ値(構造外値と文脈外値)の検出に重点を置いている。
最も広く使われているアウトリー・インジェクションのアプローチは、深刻なデータ漏洩問題であることがわかった。
本稿では,分散モデルと属性再構成モデルを組み合わせた分散グラフ外乱検出(VGOD)手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T04:09:35Z) - Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。
我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-28T16:25:08Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳(メタデータ) (2022-09-26T15:59:55Z) - Unsupervised Outlier Detection using Memory and Contrastive Learning [53.77693158251706]
特徴空間における外乱検出は,外乱検出から外乱検出までの特徴距離を測定することで行うことができると考えている。
本稿では,メモリモジュールとコントラスト学習モジュールを用いたMCODフレームワークを提案する。
提案したMCODは高い性能を達成し,9つの最先端手法より優れる。
論文 参考訳(メタデータ) (2021-07-27T07:35:42Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T01:36:08Z) - Homophily Outlier Detection in Non-IID Categorical Data [43.51919113927003]
この研究は、新しい外れ値検出フレームワークとその2つのインスタンスを導入し、カテゴリデータの外れ値を特定する。
まず、分布に敏感な外部因子とその相互依存性を値値グラフベースの表現に定義し、組み込む。
学習した値の外れ度は、直接の外れ値検出または特徴選択の除外を可能にする。
論文 参考訳(メタデータ) (2021-03-21T23:29:33Z) - Automating Outlier Detection via Meta-Learning [37.736124230543865]
メタ学習をベースとした,Overier検出のためのモデル選択のための,最初の原則付きデータ駆動型アプローチであるMetaODを開発した。
検出モデルの選択におけるMetaODの有効性を示す。
この新しい問題をさらに研究するために、私たちはメタラーニングシステム全体、ベンチマーク環境、テストベッドデータセットをオープンソース化しました。
論文 参考訳(メタデータ) (2020-09-22T15:14:45Z) - How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
拡張データの情報を活用するために,新たなMI攻撃を提案する。
モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
論文 参考訳(メタデータ) (2020-07-21T02:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。