論文の概要: Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning
- arxiv url: http://arxiv.org/abs/1901.08930v3
- Date: Tue, 14 May 2024 05:29:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 20:27:15.189528
- Title: Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning
- Title（参考訳）: 異常発見のための木に基づくアンサンブルの有効性:洞察、バッチ、ストリーミングアクティブラーニング
- Authors: Shubhomoy Das, Md Rakibul Islam, Nitthilan Kannappan Jayakodi, Janardhan Rao Doppa,
- Abstract要約: 本論文は,木に基づくアンサンブルを用いた異常発見の最先端化に大きく貢献する。
我々は,発見された異常の多様性を改善するために,新しいバッチ能動的学習アルゴリズムを開発した。
本稿では, ドリフトを頑健に検出するだけでなく, 異常検出を原理的に適応するための補正行動を行えるデータドリフト検出アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 18.49217234413188
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many real-world AD applications including computer security and fraud prevention, the anomaly detector must be configurable by the human analyst to minimize the effort on false positives. One important way to configure the detector is by providing true labels (nominal or anomaly) for a few instances. Recent work on active anomaly discovery has shown that greedily querying the top-scoring instance and tuning the weights of ensemble detectors based on label feedback allows us to quickly discover true anomalies. This paper makes four main contributions to improve the state-of-the-art in anomaly discovery using tree-based ensembles. First, we provide an important insight that explains the practical successes of unsupervised tree-based ensembles and active learning based on greedy query selection strategy. We also present empirical results on real-world data to support our insights and theoretical analysis to support active learning. Second, we develop a novel batch active learning algorithm to improve the diversity of discovered anomalies based on a formalism called compact description to describe the discovered anomalies. Third, we develop a novel active learning algorithm to handle streaming data setting. We present a data drift detection algorithm that not only detects the drift robustly, but also allows us to take corrective actions to adapt the anomaly detector in a principled manner. Fourth, we present extensive experiments to evaluate our insights and our tree-based active anomaly discovery algorithms in both batch and streaming data settings. Our results show that active learning allows us to discover significantly more anomalies than state-of-the-art unsupervised baselines, our batch active learning algorithm discovers diverse anomalies, and our algorithms under the streaming-data setup are competitive with the batch setup.
- Abstract（参考訳）: コンピュータセキュリティや不正防止を含む現実のADアプリケーションでは、偽陽性の労力を最小限に抑えるために、人間のアナリストによって異常検出装置を設定できなければならない。
検出器を構成する重要な方法の1つは、いくつかのインスタンスに対して真のラベル(nominalまたはanomaly)を提供することである。
アクティブな異常発見に関する最近の研究は、トップスコーリングのインスタンスを優雅にクエリし、ラベルフィードバックに基づいてアンサンブル検出器の重みを調整することで、真の異常を迅速に発見できることを示した。
本論文は,木に基づくアンサンブルを用いた異常発見の最先端化に大きく貢献する。
まず、教師なしのツリーベースのアンサンブルと、欲求クエリ選択戦略に基づくアクティブラーニングの実践的成功を説明する重要な洞察を提供する。
また、実世界のデータに経験的な結果を提示し、私たちの洞察と理論分析をサポートし、活発な学習を支援する。
第2に,発見異常を記述するためのコンパクト記述という形式主義に基づいて,発見異常の多様性を向上させるためのバッチ能動的学習アルゴリズムを開発した。
第3に、ストリーミングデータ設定を処理するための新しいアクティブな学習アルゴリズムを開発する。
本稿では, ドリフトを頑健に検出するだけでなく, 異常検出を原理的に適応するための補正行動を行えるデータドリフト検出アルゴリズムを提案する。
第4に、我々の洞察と木に基づくアクティブな異常発見アルゴリズムを、バッチおよびストリーミングデータ設定の両方で評価するための広範な実験を提示する。
その結果、アクティブな学習により、最先端の教師なしベースラインよりもはるかに多くの異常を発見でき、バッチなアクティブな学習アルゴリズムは多様な異常を発見し、ストリーミングデータ設定下のアルゴリズムはバッチ設定と競合することがわかった。
関連論文リスト
- Can Tree Based Approaches Surpass Deep Learning in Anomaly Detection? A
Benchmarking Study [0.6291443816903801]
本稿では,機械学習に基づく異常検出アルゴリズムの多種多様さを評価する。
本論文は, 種々の異常検出アルゴリズムの非バイアス比較を行うことにより, 顕著に寄与する。
論文 参考訳（メタデータ） (2024-02-11T19:12:51Z) - Active anomaly detection based on deep one-class classification [9.904380236739398]
我々は,Deep SVDDにおけるアクティブラーニングの2つの重要な課題,すなわちクエリ戦略と半教師付きラーニング手法に対処する。
まず、単に異常を識別するのではなく、適応境界に従って不確実なサンプルを選択する。
第2に、ラベル付き正規データと異常データの両方を効果的に組み込むために、一級分類モデルの訓練にノイズコントラスト推定を適用した。
論文 参考訳（メタデータ） (2023-09-18T03:56:45Z) - Deep Anomaly Detection and Search via Reinforcement Learning [22.005663849044772]
本研究では,エクスプロイトと探索のバランスをとるために,DADS(Deep Anomaly Detection and Search)を提案する。
トレーニングプロセス中、DADSは階層的なデータセットを持つ可能性のある異常を検索する。
その結果,DADSはラベルのないデータから異常を効率よく正確に検索し,そこから学習できることがわかった。
論文 参考訳（メタデータ） (2022-08-31T13:03:33Z) - Learning to Adapt to Unseen Abnormal Activities under Weak Supervision [43.40900198498228]
ビデオ中の弱教師付き異常検出のためのメタラーニングフレームワークを提案する。
このフレームワークは,バイナリラベルの動画レベルのアノテーションが利用可能である場合にのみ,目に見えないような異常なアクティビティに効果的に対応できることを学習する。
論文 参考訳（メタデータ） (2022-03-25T12:15:44Z) - Little Help Makes a Big Difference: Leveraging Active Learning to
Improve Unsupervised Time Series Anomaly Detection [2.1684857243537334]
予期せぬネットワークインシデントを検出するために,多数の異常検出アルゴリズムがデプロイされている。
教師なし異常検出アルゴリズムは、しばしば過度の誤報に悩まされる。
本稿では,オペレータのフィードバックの導入とメリットをアクティブな学習に活用することを提案する。
論文 参考訳（メタデータ） (2022-01-25T13:54:19Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳（メタデータ） (2020-08-21T07:26:55Z) - Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。
本稿では,更新ルール全体を検出するメタラーニング手法を提案する。
これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文 参考訳（メタデータ） (2020-07-17T07:38:39Z) - Bayesian active learning for production, a systematic study and a
reusable library [85.32971950095742]
本稿では,現在のアクティブラーニング技術の主な欠点について分析する。
実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。
部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
論文 参考訳（メタデータ） (2020-06-17T14:51:11Z) - BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。
我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。
我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文 参考訳（メタデータ） (2020-03-09T08:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。