論文の概要: Enhancing Robustness of On-line Learning Models on Highly Noisy Data
- arxiv url: http://arxiv.org/abs/2103.10824v1
- Date: Fri, 19 Mar 2021 14:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 14:28:52.992514
- Title: Enhancing Robustness of On-line Learning Models on Highly Noisy Data
- Title（参考訳）: 高雑音データに基づくオンライン学習モデルのロバスト性向上
- Authors: Zilong Zhao, Robert Birke, Rui Han, Bogdan Robu, Sara Bouchenak, Sonia
Ben Mokhtar, Lydia Y. Chen
- Abstract要約: 新たに設計されたアンサンブル予測を備えたRobust Anomaly Detector(RAD)の2層オンラインデータ選択フレームワークを拡張します。
RADは、異常検出の精度を確実に改善し、IoTデバイス攻撃の98.95%、クラウドタスク障害の85.03%、顔認識の77.51%まで到達することができる。
- 参考スコア（独自算出の注目度）: 7.812139470551903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification algorithms have been widely adopted to detect anomalies for
various systems, e.g., IoT, cloud and face recognition, under the common
assumption that the data source is clean, i.e., features and labels are
correctly set. However, data collected from the wild can be unreliable due to
careless annotations or malicious data transformation for incorrect anomaly
detection. In this paper, we extend a two-layer on-line data selection
framework: Robust Anomaly Detector (RAD) with a newly designed ensemble
prediction where both layers contribute to the final anomaly detection
decision. To adapt to the on-line nature of anomaly detection, we consider
additional features of conflicting opinions of classifiers, repetitive
cleaning, and oracle knowledge. We on-line learn from incoming data streams and
continuously cleanse the data, so as to adapt to the increasing learning
capacity from the larger accumulated data set. Moreover, we explore the concept
of oracle learning that provides additional information of true labels for
difficult data points. We specifically focus on three use cases, (i) detecting
10 classes of IoT attacks, (ii) predicting 4 classes of task failures of big
data jobs, and (iii) recognising 100 celebrities faces. Our evaluation results
show that RAD can robustly improve the accuracy of anomaly detection, to reach
up to 98.95% for IoT device attacks (i.e., +7%), up to 85.03% for cloud task
failures (i.e., +14%) under 40% label noise, and for its extension, it can
reach up to 77.51% for face recognition (i.e., +39%) under 30% label noise. The
proposed RAD and its extensions are general and can be applied to different
anomaly detection algorithms.
- Abstract（参考訳）: 分類アルゴリズムは、iot、クラウド、顔認識など、さまざまなシステムの異常を検出するために、データソースがクリーンである、すなわち特徴とラベルが正しく設定されている、という一般的な仮定の下で広く採用されている。
しかし、不注意なアノテーションや不正な異常検出のための悪意のあるデータ変換のため、ワイルドから収集されたデータは信頼できない。
本稿では、ロバスト異常検出(RAD)という2層データ選択フレームワークを拡張し、両層が最終的な異常検出決定に寄与するアンサンブル予測を新たに設計する。
異常検出のオンライン的性質に適応するために,分類器の相反する意見,反復的クリーニング,およびオラクル知識の付加的特徴を検討する。
受信したデータストリームからオンライン学習し、連続的にデータをクリーンにすることで、蓄積したデータセットから学習能力の増大に適応する。
さらに、oracle learningの概念を探求し、難しいデータポイントに対する真のラベルの追加情報を提供する。
具体的には、(i)IoT攻撃の10つのクラスの検出、(ii)ビッグデータジョブの4つのタスク障害の予測、(iii)100人のセレブの顔を認識する3つのユースケースに注目します。
評価の結果、RADは異常検出の精度を向上し、最大98.95%のIoTデバイス攻撃(+7%)、最大85.03%のクラウドタスク障害(+14%)を40%のラベルノイズで達成し、その拡張により、最大77.51%の顔認識(+39%)を30%のラベルノイズで達成できることがわかった。
提案するradとその拡張は一般的であり、異なる異常検出アルゴリズムに適用することができる。
関連論文リスト
- AN An ica-ensemble learning approach for prediction of uwb nlos signals
data classification [0.0]
本研究は、無線通信による情報調和と、超広帯域レーダ信号を用いたNLOSシナリオにおける個人識別に焦点を当てた。
実験では、静的データに対して88.37%、動的データに対して87.20%の分類精度を示し、提案手法の有効性を強調した。
論文 参考訳（メタデータ） (2024-02-27T11:42:26Z) - Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳（メタデータ） (2023-11-19T05:37:18Z) - Anomaly Detection in Power Generation Plants with Generative Adversarial
Networks [0.5439020425819]
本研究では, 発電プラントの異常検出にGAN(Generative Adversarial Networks)を用いることを検討した。
データは、当初、同社の基地局にある発電装置の燃料消費パターンの異常が観測されたことに応答して収集された。
GANsモデルは、データセットのサイズを拡大してパフォーマンスを向上させることを目的として、データ拡張と不要の両方でトレーニングされ、微調整された。
論文 参考訳（メタデータ） (2023-09-30T10:44:05Z) - Meta-learning with GANs for anomaly detection, with deployment in
high-speed rail inspection system [7.220842608593749]
ビッグデータによるAI時代における異常検出の主な課題は、潜在的な異常タイプに関する事前知識の欠如である。
本稿では,GAN(Generative Adversarial Network)の概念を,損失関数の適切な選択に取り入れる。
当社のフレームワークは2021年以降、中国の5つの高速鉄道に配備されており、99.7%以上の作業負荷を削減し、96.7%の検査時間を節約している。
論文 参考訳（メタデータ） (2022-02-11T17:43:49Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T01:36:08Z) - RLAD: Time Series Anomaly Detection through Reinforcement Learning and
Active Learning [17.089402177923297]
新しい半監視型時系列異常検出アルゴリズムを紹介します。
深層強化学習とアクティブラーニングを使用して、実世界の時系列データの異常を効率的に学習し、適応する。
パラメータを手動でチューニングする必要はなく、比較するすべての最先端のメソッドを上回ります。
論文 参考訳（メタデータ） (2021-03-31T15:21:15Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳（メタデータ） (2021-02-25T14:24:49Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z) - Hybrid Model For Intrusion Detection Systems [0.0]
このプロジェクトには、侵入検知システムで使用されるさまざまな機械学習アルゴリズムの分析が含まれる。
両データセットの異なる侵入検知システムの解析の後、本プロジェクトは侵入検知システムのための新しいハイブリッドモデルを開発することを目的とした。
論文 参考訳（メタデータ） (2020-03-19T05:52:29Z) - Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing [71.86955275376604]
本稿では,階層型エッジコンピューティング(HEC)システムに対する適応型異常検出手法を提案する。
本研究では,入力データから抽出した文脈情報に基づいてモデルを選択する適応的手法を設計し,異常検出を行う。
提案手法を実際のIoTデータセットを用いて評価し,検出タスクをクラウドにオフロードするのとほぼ同じ精度を維持しながら,検出遅延を84%削減できることを実証した。
論文 参考訳（メタデータ） (2020-01-10T05:29:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。