論文の概要: RUAD: unsupervised anomaly detection in HPC systems

• arxiv url: http://arxiv.org/abs/2208.13169v1
• Date: Sun, 28 Aug 2022 08:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:08:28.262753
• Title: RUAD: unsupervised anomaly detection in HPC systems
• Title（参考訳）: RUAD:HPCシステムにおける教師なし異常検出
• Authors: Martin Molan, Andrea Borghesi, Daniele Cesarini, Luca Benini, Andrea Bartolini
• Abstract要約: 異常検出は、高性能コンピューティングシステムの可用性向上に不可欠な部分である。 異常検出に対する現在の最先端(SoA)アプローチは、監視され、半監督されるため、異常を伴う人間のラベル付きデータセットが必要である。 正確な異常データの必要性を緩和することを目的としたクラスタリングに基づく教師なし異常検出アプローチは、これまでのところ性能が劣っている。
• 参考スコア（独自算出の注目度）: 20.441816720351483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing complexity of modern high-performance computing (HPC) systems necessitates the introduction of automated and data-driven methodologies to support system administrators' effort toward increasing the system's availability. Anomaly detection is an integral part of improving the availability as it eases the system administrator's burden and reduces the time between an anomaly and its resolution. However, current state-of-the-art (SoA) approaches to anomaly detection are supervised and semi-supervised, so they require a human-labelled dataset with anomalies - this is often impractical to collect in production HPC systems. Unsupervised anomaly detection approaches based on clustering, aimed at alleviating the need for accurate anomaly data, have so far shown poor performance. In this work, we overcome these limitations by proposing RUAD, a novel Recurrent Unsupervised Anomaly Detection model. RUAD achieves better results than the current semi-supervised and unsupervised SoA approaches. This is achieved by considering temporal dependencies in the data and including long-short term memory cells in the model architecture. The proposed approach is assessed on a complete ten-month history of a Tier-0 system (Marconi100 from CINECA with 980 nodes). RUAD achieves an area under the curve (AUC) of 0.763 in semi-supervised training and an AUC of 0.767 in unsupervised training, which improves upon the SoA approach that achieves an AUC of 0.747 in semi-supervised training and an AUC of 0.734 in unsupervised training. It also vastly outperforms the current SoA unsupervised anomaly detection approach based on clustering, achieving the AUC of 0.548.
• Abstract（参考訳）: 現代のハイパフォーマンスコンピューティング(hpc)システムの複雑さの増大は、システム管理者によるシステム可用性向上支援のための自動化およびデータ駆動手法の導入を必要とする。 異常検出は、システム管理者の負担を軽減し、異常と解決までの時間を短縮するため、可用性を向上させる重要な部分である。 しかしながら、現在のSoA(State-of-the-art)アプローチでは、異常検出が監視され、半監視されるため、異常を伴う人間ラベル付きデータセットが必要になる。 正確な異常データの必要性を緩和することを目的としたクラスタリングに基づく教師なし異常検出アプローチは、これまでのところ性能が劣っている。 本研究では,新しいリカレント非教師付き異常検出モデルであるRUADを提案することで,これらの制約を克服する。 ruadは、現在の半教師なしのsoaアプローチよりも良い結果を得る。 これはデータへの一時的な依存関係を考慮し、モデルアーキテクチャに長期のメモリセルを含めることで実現される。 提案手法は、Tier-0システム(CINECAのMarconi100と980ノード)の完全な10ヶ月の歴史に基づいて評価される。 RUADは半教師訓練で0.763、無教師訓練で0.767、半教師訓練で0.747、無教師訓練で0.734のAUCを達成するSoAアプローチを改善する。 また、クラスタリングに基づく現在のSoAの教師なし異常検出手法よりも大幅に優れており、AUCは0.548である。

関連論文リスト

• Unsupervised Learning for Fault Detection of HVAC Systems: An OPTICS -based Approach for Terminal Air Handling Units [1.0878040851638]
  本研究では,ターミナルエアハンドリングユニットとその関連システムにおける故障を検出するための教師なし学習戦略を提案する。 この手法は、主成分分析を用いて歴史的センサデータを前処理して次元を合理化する。 その結果,オプティクスは季節ごとの精度で常にk平均を上回っていた。
  論文  参考訳（メタデータ） (2023-12-18T18:08:54Z)
• Robust Semi-Supervised Anomaly Detection via Adversarially Learned Continuous Noise Corruption [11.135527192198092]
  異常検出は、予め確立された正常性から著しく逸脱した新しいサンプルを認識するタスクである。 ディープオートエンコーダ(AE)は、異常検出タスクとして広く使用されているが、ヌルID関数への過度な適合に悩まされている。 本稿では,適応学習連続雑音(ALCN)を効率よく生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T22:59:20Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection [0.0]
  経験的リスク最小化(ERM)は、未知の分布におけるアルゴリズムの性能を、既知のトレーニングセットにおける損失の平均化によって近似できると仮定する。 本稿では,EMMの限界を突破する新しいDimical Risk Minimization(DERM)フレームワークを提案する。 DERMは、よく設計された集約戦略を通じて個々の損失の影響を適応的に調整する。
  論文  参考訳（メタデータ） (2022-05-29T14:18:26Z)
• Cloud Failure Prediction with Hierarchical Temporary Memory: An Empirical Assessment [64.73243241568555]
  Hierarchical Temporary Memory (HTM) は、新皮質の特徴にインスパイアされた教師なし学習アルゴリズムである。 本稿では,障害予測の文脈でHTMを評価する最初の体系的研究について述べる。
  論文  参考訳（メタデータ） (2021-10-06T07:09:45Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)
• Weakly-supervised Joint Anomaly Detection and Classification [11.37307883423629]
  異常行為は、現実世界の監視システムにおける人命と財産の喪失を防ぐための即時行動を必要とする。 監視システムの最近の自動化は異常を検出することができるが、異常を分類するためには人間の努力が必要である。 本稿では,弱い教師付き学習パラダイムを採用することにより,単一フレームワークにおける異常検出と分類を共同で処理する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-20T04:31:07Z)
• Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and Supervised Learning Methods in Adversarial Environments [63.942632088208505]
  現在の運用環境に固有ののは、敵対的機械学習の実践である。 本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。 我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
  論文  参考訳（メタデータ） (2021-05-14T10:05:10Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Semi-supervised and Unsupervised Methods for Heart Sounds Classification in Restricted Data Environments [4.712158833534046]
  本研究は、PhyloNet/CinC 2016 Challengeデータセット上で、様々な教師付き、半教師付き、教師なしのアプローチを用いる。 GANをベースとした半教師付き手法が提案され,非ラベルデータサンプルを用いてデータ分散の学習を促進できる。 特に、1D CNN Autoencoderと1クラスSVMを併用した教師なし特徴抽出は、データラベル付けなしで優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-06-04T02:07:35Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。