論文の概要: Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution
- arxiv url: http://arxiv.org/abs/2206.07647v1
- Date: Wed, 15 Jun 2022 16:46:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 13:20:24.968537
- Title: Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution
- Title（参考訳）: 深部異常検出におけるハイパーパラメータ感度:解析とスケーラブルなハイパーセンスソリューション
- Authors: Xueying Ding, Lingxiao Zhao, Leman Akoglu
- Abstract要約: 我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。
我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
- 参考スコア（独自算出の注目度）: 21.130842136324528
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Outlier detection (OD) literature exhibits numerous algorithms as it applies
to diverse domains. However, given a new detection task, it is unclear how to
choose an algorithm to use, nor how to set its hyperparameter(s) (HPs) in
unsupervised settings. HP tuning is an ever-growing problem with the arrival of
many new detectors based on deep learning. While they have appealing properties
such as task- driven representation learning and end-to-end optimization, deep
models come with a long list of HPs. Surprisingly, the issue of model selection
in the outlier mining literature has been "the elephant in the room"; a
significant factor in unlocking the utmost potential of deep methods, yet
little said or done to systematically tackle the issue. In the first part of
this paper, we conduct the first large-scale analysis on the HP sensitivity of
deep OD methods, and through more than 35,000 trained models, quantitatively
demonstrate that model selection is inevitable. Next, we design a HP-robust and
scalable deep hyper-ensemble model called ROBOD that assembles models with
varying HP configurations, bypassing the choice paralysis. Importantly, we
introduce novel strategies to speed up ensemble training, such as parameter
sharing, batch/simultaneous training, and data subsampling, that allow us to
train fewer models with fewer parameters. Extensive experiments on both image
and tabular datasets show that ROBOD achieves and retains robust,
state-of-the-art detection performance as compared to its modern counterparts,
while taking only 2-10% of the time by the naive hyper-ensemble with
independent training.
- Abstract（参考訳）: 外乱検出(OD)文学は、様々な領域に適用される多くのアルゴリズムを示す。
しかし、新しい検出タスクを考えると、使用するアルゴリズムを選択する方法や、教師なしの設定でハイパーパラメータ(hps)を設定する方法が不明である。
HPのチューニングは、深層学習に基づく新しい検出器が数多く登場し、ますます増加する問題である。
タスク駆動表現学習やエンドツーエンド最適化といった魅力的な特性を持っていますが、深いモデルにはhpの長いリストがあります。
驚くべきことに、異常な鉱業文学におけるモデル選択の問題は「部屋の中の象」であり、深い方法の最大限の可能性を解き放つ重要な要因であり、体系的にこの問題に取り組むためにほとんど言及もしなかった。
本論文の第1部では, 深層od法のhp感度に関する最初の大規模解析を行い, 35,000以上のトレーニングモデルを用いて, モデル選択が避けられないことを定量的に証明した。
次に,hp構成の異なるモデルを組み立てるrobodと呼ばれるhp-robustでスケーラブルなディープハイパーセンスモデルを設計し,選択麻痺を回避した。
重要なのは,パラメータ共有,バッチ/同時トレーニング,データサブサンプリングといったアンサンブルトレーニングを高速化する新たな戦略を導入することで,パラメータの少ないモデルでもより少ないトレーニングが可能になることです。
画像と表のデータセットに関する大規模な実験は、ROBODが現在のデータセットと比較して堅牢で最先端の検知性能を達成し、維持していることを示している。
関連論文リスト
- Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Intrusion Detection System with Machine Learning and Multiple Datasets [0.0]
本稿では,機械学習(ML)を利用した拡張侵入検知システム(IDS)について検討する。
最終的に、この改良されたシステムは、非倫理的なハッカーによる攻撃に対抗するために使用できる。
論文 参考訳（メタデータ） (2023-12-04T14:58:19Z) - Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [32.15262629879272]
我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。
鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。
HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
論文 参考訳（メタデータ） (2023-07-20T02:07:20Z) - Unleashing the Potential of Unsupervised Deep Outlier Detection through
Automated Training Stopping [33.99128209697431]
外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。
本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。
私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
論文 参考訳（メタデータ） (2023-05-26T09:39:36Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。
いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
論文 参考訳（メタデータ） (2021-09-14T12:53:35Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z) - Better Trees: An empirical study on hyperparameter tuning of
classification decision tree induction algorithms [5.4611430411491115]
決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。
本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。
OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
論文 参考訳（メタデータ） (2018-12-05T19:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。