論文の概要: Anomaly Detection in Big Data

• arxiv url: http://arxiv.org/abs/2203.01684v1
• Date: Thu, 3 Mar 2022 12:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:02:11.925051
• Title: Anomaly Detection in Big Data
• Title（参考訳）: ビッグデータにおける異常検出
• Authors: Chandresh Kumar Maurya
• Abstract要約: 異常は、通常の振る舞いに従わないシステムの状態として定義される。 ビッグデータにおける異常検出に対処する別のアプローチを取る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Anomaly is defined as a state of the system that do not conform to the normal behavior. For example, the emission of neutrons in a nuclear reactor channel above the specified threshold is an anomaly. Big data refers to the data set that is \emph{high volume, streaming, heterogeneous, distributed} and often \emph{sparse}. Big data is not uncommon these days. For example, as per Internet live stats, the number of tweets posted per day has gone above 500 millions. Due to data explosion in data laden domains, traditional anomaly detection techniques developed for small data sets scale poorly on large-scale data sets. Therefore, we take an alternative approach to tackle anomaly detection in big data. Essentially, there are two ways to scale anomaly detection in big data. The first is based on the \emph{online} learning and the second is based on the \emph{distributed} learning. Our aim in the thesis is to tackle big data problems while detecting anomaly efficiently. To that end, we first take \emph{streaming} issue of the big data and propose Passive-Aggressive GMEAN (PAGMEAN) algorithms. Although, online learning algorithm can scale well over large number of data points and dimensions, they can not process data when it is distributed at multiple locations; which is quite common these days. Therefore, we propose anomaly detection algorithm which is inherently distributed using ADMM. Finally, we present a case study on anomaly detection in nuclear power plant data.
• Abstract（参考訳）: 異常は、通常の振る舞いに従わないシステムの状態として定義される。 例えば、特定のしきい値より上の原子炉チャネルにおける中性子の放出は異常である。 ビッグデータとは、emph{high volume, streaming, heterogeneous, distributed} であり、しばしば \emph{sparse} であるデータセットを指す。 ビッグデータは最近は珍しくありません。 たとえば、インターネットのライブデータによると、1日に投稿されたツイートの数は5億を超えている。 データラデン領域におけるデータ爆発のため、小さなデータセットのために開発された従来の異常検出技術は大規模データセットでは不十分である。 そこで我々は,ビッグデータにおける異常検出に取り組むための代替手法を提案する。 基本的に、ビッグデータにおける異常検出をスケールする方法は2つある。 1つは \emph{online} 学習、もう1つは \emph{distributed} 学習に基づいている。 論文の目的は,異常を効率的に検出しながらビッグデータ問題に取り組むことである。 そこで我々はまず,ビッグデータのemph{streaming}問題を取り上げ,Passive-Aggressive GMEAN(PAGMEAN)アルゴリズムを提案する。 オンライン学習アルゴリズムは、多数のデータポイントや次元に対して十分にスケールすることができるが、複数の場所で分散されたときにデータを処理することはできない。 そこで本研究ではADMMを用いた異常検出アルゴリズムを提案する。 最後に,原子力プラントデータにおける異常検出の事例について述べる。

関連論文リスト

• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 我々はコンテキスト拡張を通じて学習するCon$を提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• AGAD: Adversarial Generative Anomaly Detection [12.68966318231776]
  異常検出は,異常の多様性と大規模異常データ取得の困難さにより異常の欠如に悩まされた。 本稿では,自己コントラストに基づく異常検出パラダイムであるAdversarial Generative Anomaly Detection (AGAD)を提案する。 本手法は,教師付きおよび半教師付き両方の異常検出シナリオに対して擬似異常データを生成する。
  論文  参考訳（メタデータ） (2023-04-09T10:40:02Z)
• Coincident Learning for Unsupervised Anomaly Detection [8.383613150690785]
  本稿では,マルチモーダルタスクに特化して設計されたCoADという新しい手法を提案する。 特徴空間の2つの異なるスライスにまたがるテキスト共起行動に基づいて異常を識別する。 本手法は,合成外れ値データセットとMNISTに基づく画像データセットを用いて図示し,実世界の2つのタスクにおける先行技術と比較する。
  論文  参考訳（メタデータ） (2023-01-26T19:25:18Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Anomaly Detection for High-Dimensional Data Using Large Deviations Principle [0.8526086056172273]
  大規模偏差理論の概念を用いて高次元データにスケール可能な異常検出アルゴリズムを提案する。 提案した大規模偏差異常検出(LAD)アルゴリズムは,多種多様な大規模および高次元のベンチマークデータセットにおいて,アート異常検出手法の精度に優れることを示した。
  論文  参考訳（メタデータ） (2021-09-28T13:13:14Z)
• An algorithm-based multiple detection influence measure for high dimensional regression using expectile [0.4999814847776096]
  本稿では,アルゴリズムに基づく多段階多重検出手法を提案する。 データ中の望ましくない変数を識別し、キャプチャする3ステップのアルゴリズムである$asymMIP,$は2つの相補的な統計に基づく。 自閉症脳画像データ交換データセットへの本手法の適用により,脳の成熟度をよりバランスよく正確に予測することができた。
  論文  参考訳（メタデータ） (2021-05-26T01:16:24Z)
• Deep Visual Anomaly detection with Negative Learning [18.79849041106952]
  本稿では、異常検出の強化に負の学習概念を用いる、負の学習を伴う異常検出(ADNL)を提案する。 その考え方は、与えられた少数の異常例を用いて生成モデルの再構成能力を制限することである。 このようにして、ネットワークは通常のデータを再構築することを学ぶだけでなく、異常の可能性のある分布から遠く離れた正規分布を囲む。
  論文  参考訳（メタデータ） (2021-05-24T01:48:44Z)
• Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
  近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。 本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T15:49:01Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。