論文の概要: Bagged Regularized $k$-Distances for Anomaly Detection
- arxiv url: http://arxiv.org/abs/2312.01046v1
- Date: Sat, 2 Dec 2023 07:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:27:49.136010
- Title: Bagged Regularized $k$-Distances for Anomaly Detection
- Title(参考訳): 異常検出のためのタグ付き正規化$k$-Distances
- Authors: Yuchao Cai and Yuheng Ma and Hanfang Yang and Hanyuan Hang
- Abstract要約: BRDAD (Bagged regularized $k$-distances for Anomaly Detection) と呼ばれる距離に基づく新しいアルゴリズムを提案する。
我々のBRDADアルゴリズムは、重み付けされた密度推定のための$k$-distances(BWDDE)の実証的リスクの有限標本境界を最小化して重みを選択する。
理論的には,我々のアルゴリズムに対するAUCの高速収束率を確立し,バッグング手法が計算複雑性を著しく減少させることを示す。
- 参考スコア(独自算出の注目度): 9.899763598214122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the paradigm of unsupervised anomaly detection, which involves
the identification of anomalies within a dataset in the absence of labeled
examples. Though distance-based methods are top-performing for unsupervised
anomaly detection, they suffer heavily from the sensitivity to the choice of
the number of the nearest neighbors. In this paper, we propose a new
distance-based algorithm called bagged regularized $k$-distances for anomaly
detection (BRDAD) converting the unsupervised anomaly detection problem into a
convex optimization problem. Our BRDAD algorithm selects the weights by
minimizing the surrogate risk, i.e., the finite sample bound of the empirical
risk of the bagged weighted $k$-distances for density estimation (BWDDE). This
approach enables us to successfully address the sensitivity challenge of the
hyperparameter choice in distance-based algorithms. Moreover, when dealing with
large-scale datasets, the efficiency issues can be addressed by the
incorporated bagging technique in our BRDAD algorithm. On the theoretical side,
we establish fast convergence rates of the AUC regret of our algorithm and
demonstrate that the bagging technique significantly reduces the computational
complexity. On the practical side, we conduct numerical experiments on anomaly
detection benchmarks to illustrate the insensitivity of parameter selection of
our algorithm compared with other state-of-the-art distance-based methods.
Moreover, promising improvements are brought by applying the bagging technique
in our algorithm on real-world datasets.
- Abstract(参考訳): ラベル付き例がない場合にデータセット内の異常を識別することを含む教師なし異常検出のパラダイムを検討する。
距離に基づく手法は教師なしの異常検出にはトップパーパフォーミングであるが、最寄りの隣接者数の選択に対する感度に苦しむ。
本稿では,教師なし異常検出問題を凸最適化問題に変換する新しい距離ベースアルゴリズムであるbagged regularized $k$- distances for anomaly detection (brdad)を提案する。
我々のBRDADアルゴリズムは、重み付けされた密度推定のための$k$-distances(BWDDE)の実証的リスクの有限標本境界を最小化して重みを選択する。
このアプローチにより,距離ベースアルゴリズムにおけるハイパーパラメータ選択の感度問題に対処できる。
さらに,大規模データセットを扱う場合には,brdadアルゴリズムの組込みバグング手法によって効率問題に対処することができる。
理論的には,我々のアルゴリズムに対するAUCの高速収束率を確立し,バッグング手法が計算複雑性を大幅に減少させることを示す。
実用的な手法として,アルゴリズムのパラメータ選択の不感性を説明するために,異常検出ベンチマークの数値実験を行った。
さらに,実世界のデータセットにバッグ技術を適用することにより,有望な改善がもたらされる。
関連論文リスト
- Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
論文 参考訳(メタデータ) (2023-12-19T13:17:43Z) - Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。
特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
論文 参考訳(メタデータ) (2023-02-13T19:57:17Z) - Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。
SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。
本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。
ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
論文 参考訳(メタデータ) (2021-09-13T18:10:52Z) - Deep Unfolding of Iteratively Reweighted ADMM for Wireless RF Sensing [22.467957268653077]
我々は,MIMO無線レーダを用いた層状材料構造中の材料欠陥の検出に対処する。
多くのシナリオでは、階層構造に挑戦する欠陥の数は、低ランク構造としてモデル化できる。
論文 参考訳(メタデータ) (2021-06-07T15:00:33Z) - Variational Pedestrian Detection [33.52588723666144]
変動推定問題として,歩行者検出の特異な視点を定めている。
密集した提案を潜在変数としてモデル化し,歩行者検出のための新規かつ効率的なアルゴリズムを考案する。
また, この手法は2段階検出器に柔軟に適用でき, 顕著な性能向上を実現する。
論文 参考訳(メタデータ) (2021-04-26T08:06:41Z) - Unsupervised Anomaly Detectors to Detect Intrusions in the Current
Threat Landscape [0.11470070927586014]
本研究では,Isolation Forests,One-Class Support Vector Machines,Self-Organizing Mapsが侵入検知用よりも有効であることを示した。
不安定、分散、あるいは非可逆的行動による攻撃を、ファジング、ワーム、ボットネットなどによって検出することがより困難である点を詳述する。
論文 参考訳(メタデータ) (2020-12-21T14:06:58Z) - Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。
提案アルゴリズムの有効性と有効性を示す実験を行った。
論文 参考訳(メタデータ) (2020-11-04T16:49:29Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。
この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。
古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
論文 参考訳(メタデータ) (2020-07-01T18:43:32Z) - Anomaly Detection Under Controlled Sensing Using Actor-Critic
Reinforcement Learning [31.841289319809807]
雑音性二元センサを用いたプロセス群における異常検出の問題点を考察する。
ノーマルプロセスに対応するノイズレスセンサ測定は0であり、その処理が異常であればその測定は1である。
本稿では,検出アルゴリズムの終了時期を動的に決定する逐次センサ選択ポリシーを提案する。
論文 参考訳(メタデータ) (2020-05-26T22:53:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。