論文の概要: SUOD: Toward Scalable Unsupervised Outlier Detection
- arxiv url: http://arxiv.org/abs/2002.03222v1
- Date: Sat, 8 Feb 2020 19:38:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 22:37:44.414166
- Title: SUOD: Toward Scalable Unsupervised Outlier Detection
- Title(参考訳): SUOD: スケーラブルで教師なしなアウトリア検出を目指して
- Authors: Yue Zhao and Xueying Ding and Jianing Yang and Haoping Bai
- Abstract要約: 外乱検出は異常なデータオブジェクトを識別するための機械学習の重要な分野である。
教師なしアルゴリズムの不安定な性質を補うために、金融、健康、セキュリティといった高度な分野の実践者は、多数のモデルを構築することを好む。
我々は,多数の教師なし検出モデルを用いて,トレーニングと予測を高速化する,SUODと呼ばれる3モジュール加速度フレームワークを提案する。
- 参考スコア(独自算出の注目度): 5.794337840783062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Outlier detection is a key field of machine learning for identifying abnormal
data objects. Due to the high expense of acquiring ground truth, unsupervised
models are often chosen in practice. To compensate for the unstable nature of
unsupervised algorithms, practitioners from high-stakes fields like finance,
health, and security, prefer to build a large number of models for further
combination and analysis. However, this poses scalability challenges in
high-dimensional large datasets. In this study, we propose a three-module
acceleration framework called SUOD to expedite the training and prediction with
a large number of unsupervised detection models. SUOD's Random Projection
module can generate lower subspaces for high-dimensional datasets while
reserving their distance relationship. Balanced Parallel Scheduling module can
forecast the training and prediction cost of models with high confidence---so
the task scheduler could assign nearly equal amount of taskload among workers
for efficient parallelization. SUOD also comes with a Pseudo-supervised
Approximation module, which can approximate fitted unsupervised models by lower
time complexity supervised regressors for fast prediction on unseen data. It
may be considered as an unsupervised model knowledge distillation process.
Notably, all three modules are independent with great flexibility to "mix and
match"; a combination of modules can be chosen based on use cases. Extensive
experiments on more than 30 benchmark datasets have shown the efficacy of SUOD,
and a comprehensive future development plan is also presented.
- Abstract(参考訳): 外乱検出は異常なデータオブジェクトを識別するための機械学習の重要な分野である。
基礎的真理獲得のコストが高いため、教師なしのモデルは実際に選択されることが多い。
教師なしアルゴリズムの不安定な性質を補うために、金融、健康、セキュリティといった高度な分野の実践者は、さらなる組み合わせと分析のための多数のモデルを構築することを好む。
しかし、これは高次元の大規模データセットにスケーラビリティ上の課題をもたらす。
本研究では,多数の教師なし検出モデルを用いて,トレーニングと予測を高速化する,SUODと呼ばれる3モジュール加速度フレームワークを提案する。
SUODのランダム射影モジュールは、距離関係を保ちながら高次元データセットの低い部分空間を生成することができる。
バランスの取れた並列スケジューリングモジュールは、信頼性の高いモデルのトレーニングと予測コストを予測できるため、タスクスケジューラは、効率のよい並列化のために、作業者間でほぼ同等のタスク負荷を割り当てることができる。
SUODにはPseudo-supervised Approximationモジュールも付属しており、非教師付きモデルを低時間複雑教師付き回帰器で近似して、目に見えないデータに対する高速な予測を行うことができる。
これは教師なしのモデル知識蒸留プロセスと見なすことができる。
特に、すべての3つのモジュールは独立しており、"mix and Match"に非常に柔軟性がある。
30以上のベンチマークデータセットに関する広範な実験により、suodの有効性が示され、包括的な将来の開発計画も提示されている。
関連論文リスト
- OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳(メタデータ) (2024-09-14T07:44:22Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳(メタデータ) (2023-10-09T12:36:16Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2023-01-08T12:20:46Z) - HigeNet: A Highly Efficient Modeling for Long Sequence Time Series
Prediction in AIOps [30.963758935255075]
本稿では,HigeNetという高効率モデルを提案し,時系列時系列の予測を行う。
モデルのトレーニング時間,資源使用量,精度は,5つの最先端競合モデルよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2022-11-13T13:48:43Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Model-based micro-data reinforcement learning: what are the crucial
model properties and which model to choose? [0.2836066255205732]
我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。
マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。
また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
論文 参考訳(メタデータ) (2021-07-24T11:38:25Z) - Model-free prediction of emergence of extreme events in a parametrically
driven nonlinear dynamical system by Deep Learning [0.0]
パラメトリック駆動非線形力学系における極端な事象の発生を予測する。
我々は3つのディープラーニングモデル、すなわちMulti-Layer Perceptron、Convolutional Neural Network、Long Short-Term Memoryを使用する。
長短期記憶モデルがカオス時系列の予測に最適であることがわかった。
論文 参考訳(メタデータ) (2021-07-14T14:48:57Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳(メタデータ) (2020-03-11T00:22:50Z) - Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods [24.190587751595455]
弱監督は、基底的真理アノテーションに頼ることなく機械学習モデルを構築する一般的な方法である。
既存の手法では、雑音源をモデル化するために潜時変数推定を用いる。
弱監督に高度に適用可能な潜在変数モデルのクラスについて、モデルパラメータに対する閉形式解を見つけることができることを示す。
この洞察を使ってFlyingSquidを構築します。FlyingSquidは、以前の弱い監視アプローチよりも桁違いに高速に実行される弱い監視フレームワークです。
論文 参考訳(メタデータ) (2020-02-27T07:51:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。