論文の概要: EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy
- arxiv url: http://arxiv.org/abs/2405.12502v2
- Date: Sat, 1 Jun 2024 13:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 14:29:15.563828
- Title: EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy
- Title（参考訳）: エントロピーストップ:ロスエントロピーを用いた教師なしディープ・アウトリア検出
- Authors: Yihong Huang, Yuang Zhang, Liping Wang, Fan Zhang, Xuemin Lin,
- Abstract要約: ロスエントロピー (Loss Entropy) と呼ばれるゼロラベルのエントロピー距離を損失分布として提案する。
また、損失エントロピーが最大モデル検出能力を示す場合、トレーニングを停止する自動早期停止アルゴリズムEntropyStopを開発した。
- 参考スコア（独自算出の注目度）: 19.154826741973277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised Outlier Detection (UOD) is an important data mining task. With the advance of deep learning, deep Outlier Detection (OD) has received broad interest. Most deep UOD models are trained exclusively on clean datasets to learn the distribution of the normal data, which requires huge manual efforts to clean the real-world data if possible. Instead of relying on clean datasets, some approaches directly train and detect on unlabeled contaminated datasets, leading to the need for methods that are robust to such conditions. Ensemble methods emerged as a superior solution to enhance model robustness against contaminated training sets. However, the training time is greatly increased by the ensemble. In this study, we investigate the impact of outliers on the training phase, aiming to halt training on unlabeled contaminated datasets before performance degradation. Initially, we noted that blending normal and anomalous data causes AUC fluctuations, a label-dependent measure of detection accuracy. To circumvent the need for labels, we propose a zero-label entropy metric named Loss Entropy for loss distribution, enabling us to infer optimal stopping points for training without labels. Meanwhile, we theoretically demonstrate negative correlation between entropy metric and the label-based AUC. Based on this, we develop an automated early-stopping algorithm, EntropyStop, which halts training when loss entropy suggests the maximum model detection capability. We conduct extensive experiments on ADBench (including 47 real datasets), and the overall results indicate that AutoEncoder (AE) enhanced by our approach not only achieves better performance than ensemble AEs but also requires under 2\% of training time. Lastly, our proposed metric and early-stopping approach are evaluated on other deep OD models, exhibiting their broad potential applicability.
- Abstract（参考訳）: Unsupervised Outlier Detection (UOD) は重要なデータマイニングタスクである。
ディープラーニングの進歩により、Deep Outlier Detection (OD) は広く関心を集めている。
ほとんどの深い UOD モデルは、通常のデータの分布を学ぶために、クリーンなデータセットにのみ訓練されている。
クリーンなデータセットに頼る代わりに、ラベルのない汚染データセットを直接トレーニングし、検出するアプローチもある。
エンサンブル法は、汚染されたトレーニングセットに対するモデルロバスト性を高めるための優れた解として現れた。
しかし、アンサンブルによりトレーニング時間が大幅に向上する。
本研究では, 未ラベル汚染データセットのトレーニングを中止し, 性能劣化に先立って, トレーニングフェーズにおけるアウトレーヤの影響について検討する。
当初我々は、正常データと異常データを混在させることで、AUCの変動が生じることを指摘した。
ラベルの必要性を回避するため,ロスエントロピー (Loss Entropy) というゼロラベルのエントロピー尺度を提案する。
一方,エントロピー測定値とラベルに基づくAUCとの負の相関を理論的に示す。
これに基づいて、損失エントロピーが最大モデル検出能力を示す場合のトレーニングを停止する自動早期停止アルゴリズムEntropyStopを開発した。
我々はADBench(47個の実データセットを含む)の広範な実験を行い、全体的な結果は、私たちのアプローチによって強化されたAutoEncoder(AE)が、AEのアンサンブルよりも優れたパフォーマンスを達成するだけでなく、トレーニング時間の26%以下の時間も必要であることを示している。
最後に,提案手法を他の深部ODモデルで評価し,その適用可能性について検討した。
関連論文リスト
- Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。
従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。
我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
論文 参考訳（メタデータ） (2024-07-04T14:28:52Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - COFT-AD: COntrastive Fine-Tuning for Few-Shot Anomaly Detection [19.946344683965425]
FSADの課題に対処する新しい手法を提案する。
重みをモデル化するために、大規模なソースデータセットで事前トレーニングされたモデルを使用します。
提案手法の有効性を示すために,3つの制御されたADタスクと4つの実世界のADタスクに対して,数発の異常検出を行った。
論文 参考訳（メタデータ） (2024-02-29T09:48:19Z) - RoSAS: Deep Semi-Supervised Anomaly Detection with
Contamination-Resilient Continuous Supervision [21.393509817509464]
本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。
当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
論文 参考訳（メタデータ） (2023-07-25T04:04:49Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。
本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-12T14:25:40Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳（メタデータ） (2020-12-09T11:01:06Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。