論文の概要: Automating Outlier Detection via Meta-Learning
- arxiv url: http://arxiv.org/abs/2009.10606v2
- Date: Wed, 17 Mar 2021 14:44:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 22:08:38.116486
- Title: Automating Outlier Detection via Meta-Learning
- Title(参考訳): メタラーニングによる外乱検出の自動化
- Authors: Yue Zhao, Ryan A. Rossi, Leman Akoglu
- Abstract要約: メタ学習をベースとした,Overier検出のためのモデル選択のための,最初の原則付きデータ駆動型アプローチであるMetaODを開発した。
検出モデルの選択におけるMetaODの有効性を示す。
この新しい問題をさらに研究するために、私たちはメタラーニングシステム全体、ベンチマーク環境、テストベッドデータセットをオープンソース化しました。
- 参考スコア(独自算出の注目度): 37.736124230543865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given an unsupervised outlier detection (OD) task on a new dataset, how can
we automatically select a good outlier detection method and its
hyperparameter(s) (collectively called a model)? Thus far, model selection for
OD has been a "black art"; as any model evaluation is infeasible due to the
lack of (i) hold-out data with labels, and (ii) a universal objective function.
In this work, we develop the first principled data-driven approach to model
selection for OD, called MetaOD, based on meta-learning. MetaOD capitalizes on
the past performances of a large body of detection models on existing outlier
detection benchmark datasets, and carries over this prior experience to
automatically select an effective model to be employed on a new dataset without
using any labels. To capture task similarity, we introduce specialized
meta-features that quantify outlying characteristics of a dataset. Through
comprehensive experiments, we show the effectiveness of MetaOD in selecting a
detection model that significantly outperforms the most popular outlier
detectors (e.g., LOF and iForest) as well as various state-of-the-art
unsupervised meta-learners while being extremely fast. To foster
reproducibility and further research on this new problem, we open-source our
entire meta-learning system, benchmark environment, and testbed datasets.
- Abstract(参考訳): 新しいデータセットで教師なしのoutlier detection(od)タスクが与えられた場合、どのようにして優れたoutlier detectionメソッドとそのハイパーパラメータ(モデルと呼ばれる)を自動的に選択できるのか?
これまでのところ、odのモデル選択は「ブラックアート」であり、モデル評価は欠如しているため実現不可能である。
(i)ラベル付き保持データ、及び
(ii)普遍目的関数。
本研究では,メタ学習に基づくodのモデル選択のための最初の原則的データ駆動アプローチであるmetaodを開発した。
MetaODは、既存の外れ値検出ベンチマークデータセット上の大規模な検出モデルの過去のパフォーマンスを生かし、この以前の経験を乗り越えて、ラベルを使わずに新しいデータセットで使用される効果的なモデルを自動的に選択する。
タスクの類似性を捉えるために,データセットの特徴を定量化する特殊メタ機能を導入する。
包括的実験を通じて,最も人気のある異常検出器(lofやiforestなど)や,最先端の教師なしメタリーナーを非常に高速で上回る検出モデルの選択におけるメタロドの有効性を示す。
この新しい問題の再現性とさらなる研究を促進するために、我々はメタラーニングシステム、ベンチマーク環境、テストベッドデータセット全体をオープンソース化した。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳(メタデータ) (2024-10-30T17:20:10Z) - Zero-shot Outlier Detection via Prior-data Fitted Networks: Model Selection Bygone! [28.823740273813296]
FoMo-0Dは、表データの0/0ショットODのための事前訓練されたファンデーションモデルである。
パラメータを微調整することなく、テストサンプルの(より低い/より低い)ラベルを直接予測できる。
57の実世界のデータセットの実験では、FoMo-0Dはベースラインの大部分を著しく上回っている。
論文 参考訳(メタデータ) (2024-09-09T14:41:24Z) - IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection [3.3772986620114387]
一般化性を重視したIoTネットワーク攻撃をモデル化するアプローチを提案する。
まず,機能抽出のための転がり窓のアプローチを改良し,オーバーフィッティングを低減した多段階機能選択プロセスを提案する。
次に、独立したトレインとテストデータセットを使用してモデルを構築し、テストする。
第3に、機械学習モデル、評価指標、データセットの多様なポートフォリオを使用して、方法論を厳格に評価する。
論文 参考訳(メタデータ) (2023-10-17T21:46:43Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - Toward Unsupervised Outlier Model Selection [20.12322454417006]
ELECTは、ラベルなしで新しいデータセット上で有効なモデルを選択するための新しいアプローチである。
メタラーニング(メタラーニング、メタラーニング、メタラーニング、メタラーニング、メタラーニング、メタラーニング、メタラーニング、メタラーニング、メタラーニングなど)に基づく。
オンデマンドでアウトプットを提供し、さまざまな時間予算に対応できる。
論文 参考訳(メタデータ) (2022-11-03T14:14:46Z) - Meta-Learning for Unsupervised Outlier Detection with Optimal Transport [4.035753155957698]
そこで本稿では,従来のデータセットからのメタラーニングに基づく異常検出の自動化手法を提案する。
特に最適なトランスポートを活用して、最も類似した分布を持つデータセットを見つけ、そのデータ分散に最も適することが証明された外れ値検出技術を適用します。
論文 参考訳(メタデータ) (2022-11-01T10:36:48Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2021-03-01T01:43:04Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳(メタデータ) (2021-01-24T22:57:19Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。