論文の概要: Feature Explosion: a generic optimization strategy for outlier detection algorithms
- arxiv url: http://arxiv.org/abs/2502.05496v1
- Date: Sat, 08 Feb 2025 08:58:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:30:49.788806
- Title: Feature Explosion: a generic optimization strategy for outlier detection algorithms
- Title(参考訳): 特徴爆発:外乱検出アルゴリズムの汎用最適化戦略
- Authors: Qi Li,
- Abstract要約: 外乱検出タスクは潜在的な問題や機会を発見することを目的としている。
何千もの異常検出アルゴリズムが提案されている。
この冗長性の根本原因は、現在の高度にカスタマイズされた(非汎用的な)最適化戦略にある。
- 参考スコア(独自算出の注目度): 8.206124331448931
- License:
- Abstract: Outlier detection tasks aim at discovering potential issues or opportunities and are widely used in cybersecurity, financial security, industrial inspection, etc. To date, thousands of outlier detection algorithms have been proposed. Clearly, in real-world scenarios, such a large number of algorithms is unnecessary. In other words, a large number of outlier detection algorithms are redundant. We believe the root cause of this redundancy lies in the current highly customized (i.e., non-generic) optimization strategies. Specifically, when researchers seek to improve the performance of existing outlier detection algorithms, they have to design separate optimized versions tailored to the principles of each algorithm, leading to an ever-growing number of outlier detection algorithms. To address this issue, in this paper, we introduce the explosion from physics into the outlier detection task and propose a generic optimization strategy based on feature explosion, called OSD (Optimization Strategy for outlier Detection algorithms). In the future, when improving the performance of existing outlier detection algorithms, it will be sufficient to invoke the OSD plugin without the need to design customized optimized versions for them. We compared the performances of 14 outlier detection algorithms on 24 datasets before and after invoking the OSD plugin. The experimental results show that the performances of all outlier detection algorithms are improved on almost all datasets. In terms of average accuracy, OSD make these outlier detection algorithms improve by 15% (AUC), 63.7% (AP).
- Abstract(参考訳): 外乱検知タスクは潜在的な問題や機会を発見することを目的としており、サイバーセキュリティ、金融セキュリティ、産業検査などで広く利用されている。
これまでに数千の異常検出アルゴリズムが提案されている。
明らかに、現実世界のシナリオでは、このような大量のアルゴリズムは不要である。
言い換えれば、多くの外れ値検出アルゴリズムは冗長である。
この冗長性の根本原因は、現在の高度にカスタマイズされた(非汎用的な)最適化戦略にあると考えています。
具体的には、既存の外れ値検出アルゴリズムの性能を改善するためには、それぞれのアルゴリズムの原理に合わせた最適化されたバージョンを設計する必要がある。
この問題に対処するため,本論文では,物理からの爆発を外乱検出タスクに導入し,OSD(Optimization Strategy for Outlier Detection Algorithm)と呼ばれる特徴爆発に基づく一般的な最適化戦略を提案する。
将来、既存の外れ値検出アルゴリズムの性能を改善するためには、カスタマイズされた最適化バージョンを設計することなくOSDプラグインを呼び出すだけで十分である。
我々は,OSDプラグインの起動前後の24データセットに対して,14個の異常検出アルゴリズムの性能を比較した。
実験結果から, ほぼすべてのデータセットにおいて, 異常検出アルゴリズムの性能が向上していることが示唆された。
平均精度では、OSDはこれらの異常検出アルゴリズムを15%(AUC)、63.7%(AP)改善する。
関連論文リスト
- A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳(メタデータ) (2024-07-19T08:29:12Z) - ParlayANN: Scalable and Deterministic Parallel Graph-Based Approximate
Nearest Neighbor Search Algorithms [5.478671305092084]
本稿では,ParlayANNについて紹介する。ParlayANNは決定論的および並列グラフに基づく近接探索アルゴリズムのライブラリである。
我々は、数十億のデータセットにスケールする4つの最先端グラフベースのANNSアルゴリズムに対して、新しい並列実装を開発する。
論文 参考訳(メタデータ) (2023-05-07T19:28:23Z) - Regret Bounds for Expected Improvement Algorithms in Gaussian Process
Bandit Optimization [63.8557841188626]
期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。
本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。
我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
論文 参考訳(メタデータ) (2022-03-15T13:17:53Z) - Little Help Makes a Big Difference: Leveraging Active Learning to
Improve Unsupervised Time Series Anomaly Detection [2.1684857243537334]
予期せぬネットワークインシデントを検出するために,多数の異常検出アルゴリズムがデプロイされている。
教師なし異常検出アルゴリズムは、しばしば過度の誤報に悩まされる。
本稿では,オペレータのフィードバックの導入とメリットをアクティブな学習に活用することを提案する。
論文 参考訳(メタデータ) (2022-01-25T13:54:19Z) - Anomaly Rule Detection in Sequence Data [2.3757190901941736]
本稿では,一組のシーケンスからユーティリティを意識した外部規則の発見を可能にする,DUOSと呼ばれる新しい異常検出フレームワークを提案する。
本研究では,集団の異常性と実用性を両立させ,ユーティリティ・アウェア・アウトリー・ルール(UOSR)の概念を導入する。
論文 参考訳(メタデータ) (2021-11-29T23:52:31Z) - Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。
SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。
本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。
ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
論文 参考訳(メタデータ) (2021-09-13T18:10:52Z) - A Pragmatic Look at Deep Imitation Learning [0.3626013617212666]
我々は6つの異なる対向的模倣学習アルゴリズムを再実装する。
広く使われている専門的軌跡データセットで評価する。
GAILは、様々なサンプルサイズにわたって、一貫してよく機能する。
論文 参考訳(メタデータ) (2021-08-04T06:33:10Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z) - Bayesian Optimization with Machine Learning Algorithms Towards Anomaly
Detection [66.05992706105224]
本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。
ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。
実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
論文 参考訳(メタデータ) (2020-08-05T19:29:35Z) - Run2Survive: A Decision-theoretic Approach to Algorithm Selection based
on Survival Analysis [75.64261155172856]
生存分析(SA)は、自然に検閲されたデータをサポートし、アルゴリズムランタイムの分散モデルを学習するためにそのようなデータを使用する適切な方法を提供する。
我々は、アルゴリズム選択に対する洗練された決定論的アプローチの基礎として、そのようなモデルを活用し、Run2Surviveを疑う。
標準ベンチマークASlibによる広範な実験では、我々のアプローチは競争力が高く、多くの場合、最先端のASアプローチよりも優れていることが示されている。
論文 参考訳(メタデータ) (2020-07-06T15:20:17Z) - CRATOS: Cognition of Reliable Algorithm for Time-series Optimal Solution [12.906367105870341]
CRATOSは、時系列から特徴を抽出し、同様の特徴を持つクラスタシリーズを1つのグループにまとめる自己適応アルゴリズムである。
本手法は,異常検出の開発・保守コストを大幅に削減することができる。
本論文における異常検出アルゴリズムの精度は85.1%である。
論文 参考訳(メタデータ) (2020-03-03T09:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。