論文の概要: ADMoE: Anomaly Detection with Mixture-of-Experts from Noisy Labels
- arxiv url: http://arxiv.org/abs/2208.11290v1
- Date: Wed, 24 Aug 2022 03:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:28:17.265839
- Title: ADMoE: Anomaly Detection with Mixture-of-Experts from Noisy Labels
- Title(参考訳): ADMoE:雑音ラベルからの混合スペクトルによる異常検出
- Authors: Yue Zhao, Guoqing Zheng, Subhabrata Mukherjee, Robert McCann, Ahmed
Awadallah
- Abstract要約: ノイズラベルから学習するアノマリ検出アルゴリズムの最初のフレームワークであるADMoEを提案する。
これは、ほとんどのモデルパラメータを共有することでノイズの多いラベル間の類似性を捉え、"エキスパート"サブネットワークを構築することで専門化を促進する。
8つのデータセットの大規模な結果は、ADMoEの有効性を示している。
- 参考スコア(独自算出の注目度): 24.133143237696242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing works on anomaly detection (AD) rely on clean labels from human
annotators that are expensive to acquire in practice. In this work, we propose
a method to leverage weak/noisy labels (e.g., risk scores generated by machine
rules for detecting malware) that are cheaper to obtain for anomaly detection.
Specifically, we propose ADMoE, the first framework for anomaly detection
algorithms to learn from noisy labels. In a nutshell, ADMoE leverages
mixture-of-experts (MoE) architecture to encourage specialized and scalable
learning from multiple noisy sources. It captures the similarities among noisy
labels by sharing most model parameters, while encouraging specialization by
building "expert" sub-networks. To further juice out the signals from noisy
labels, ADMoE uses them as input features to facilitate expert learning.
Extensive results on eight datasets (including a proprietary enterprise
security dataset) demonstrate the effectiveness of ADMoE, where it brings up to
34% performance improvement over not using it. Also, it outperforms a total of
13 leading baselines with equivalent network parameters and FLOPS. Notably,
ADMoE is model-agnostic to enable any neural network-based detection methods to
handle noisy labels, where we showcase its results on both multiple-layer
perceptron (MLP) and the leading AD method DeepSAD.
- Abstract(参考訳): 既存の異常検出(AD)の研究は、実際に取得するのに高価な人間のアノテーションからのクリーンなラベルに依存している。
本研究では,マルウェア検出に安価である弱い/ノイズラベル(例えば,マルウェア検出のための機械規則によるリスクスコア)を活用する手法を提案する。
具体的には、ノイズラベルから学習する最初の異常検出アルゴリズムであるADMoEを提案する。
簡単に言うと、ADMoEはMix-of-Experts (MoE)アーキテクチャを活用し、複数のノイズソースからの専門的でスケーラブルな学習を促進する。
モデルパラメータの共有によってノイズラベル間の類似性を捉えると同時に、"エキスパート"サブネットワークの構築による特殊化を奨励する。
ノイズの多いラベルから信号を取り出すために、ADMoEはそれを入力機能として使い、専門家の学習を容易にする。
8つのデータセット(プロプライエタリなエンタープライズセキュリティデータセットを含む)の大規模な結果は、ADMoEの有効性を示している。
また、等価なネットワークパラメータとフロップを持つ合計13のリードベースラインを上回っている。
特にADMoEは、ニューラルネットワークベースの検出手法がノイズラベルを扱えるようにモデルに依存しないため、マルチレイヤパーセプトロン(MLP)とリードADメソッドDeepSADの両方で結果を示す。
関連論文リスト
- Learning with Noisy Labels: Interconnection of Two
Expectation-Maximizations [41.65589788264123]
労働集約型ラベリングは、ディープラーニングに基づくコンピュータビジョンアルゴリズムの開発においてボトルネックとなる。
雑音データ中の構造的多様体を見つけるタスクとして形式化された雑音ラベル(LNL)問題による学習に対処する。
本アルゴリズムは,複数の標準ベンチマークにおいて,様々な種類のラベルノイズの下でかなりのマージンを有する最先端性能を実現する。
論文 参考訳(メタデータ) (2024-01-09T07:22:30Z) - NNG-Mix: Improving Semi-supervised Anomaly Detection with Pseudo-anomaly
Generation [11.884004583641325]
異常検出は、複雑なシステムにおいて稀かつしばしば重要な事象を特定するのに不可欠である。
半教師付きおよび教師付きアプローチは、そのようなラベル付きデータを活用することができ、パフォーマンスが向上する。
ラベル付き異常とラベル付けされていない大量のデータに基づいて擬似異常を新たに生成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-20T17:38:35Z) - Improving a Named Entity Recognizer Trained on Noisy Data with a Few
Clean Instances [55.37242480995541]
クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。
メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。
クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2023-10-25T17:23:37Z) - AnoRand: A Semi Supervised Deep Learning Anomaly Detection Method by
Random Labeling [0.0]
異常検出(英: Anomaly detection)またはより一般的には異常検出(英: outliers detection)は、理論的および応用機械学習において最も人気があり、課題の1つである。
我々は、ディープラーニングアーキテクチャとランダムな合成ラベル生成を組み合わせることで、textbfAnoRandと呼ばれる新しい半教師付き異常検出手法を提案する。
論文 参考訳(メタデータ) (2023-05-28T10:53:34Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳(メタデータ) (2023-05-25T08:19:31Z) - Deep Anomaly Detection and Search via Reinforcement Learning [22.005663849044772]
本研究では,エクスプロイトと探索のバランスをとるために,DADS(Deep Anomaly Detection and Search)を提案する。
トレーニングプロセス中、DADSは階層的なデータセットを持つ可能性のある異常を検索する。
その結果,DADSはラベルのないデータから異常を効率よく正確に検索し,そこから学習できることがわかった。
論文 参考訳(メタデータ) (2022-08-31T13:03:33Z) - Data-Efficient and Interpretable Tabular Anomaly Detection [54.15249463477813]
本稿では,ホワイトボックスモデルクラスである一般化付加モデルを適用し,異常を検出する新しいフレームワークを提案する。
さらに、提案フレームワークであるDIADは、ラベル付きデータの少量を組み込んで、半教師付き設定における異常検出性能をさらに向上させることができる。
論文 参考訳(メタデータ) (2022-03-03T22:02:56Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳(メタデータ) (2021-01-14T05:43:51Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳(メタデータ) (2020-09-30T15:45:36Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳(メタデータ) (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。