論文の概要: Online detection of failures generated by storage simulator
- arxiv url: http://arxiv.org/abs/2101.07100v1
- Date: Mon, 18 Jan 2021 14:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 11:23:47.343014
- Title: Online detection of failures generated by storage simulator
- Title（参考訳）: ストレージシミュレータが生成する障害のオンライン検出
- Authors: Kenenbek Arzymatov, Mikhail Hushchyn, Andrey Sapronov, Vladislav
Belavin, Leonid Gremyachikh, Maksim Karpov and Andrey Ustyuzhanin
- Abstract要約: 現代のストレージインフラストラクチャの動作をシミュレートするためのGoベースの(golang)パッケージを作成します。
パッケージの柔軟な構造により、多数のコンポーネントを持つ現実世界のストレージシステムのモデルを作成することができます。
シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
- 参考スコア（独自算出の注目度）: 2.3859858429583665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large-scale data-farms consist of hundreds of thousands of storage
devices that span distributed infrastructure. Devices used in modern data
centers (such as controllers, links, SSD- and HDD-disks) can fail due to
hardware as well as software problems. Such failures or anomalies can be
detected by monitoring the activity of components using machine learning
techniques. In order to use these techniques, researchers need plenty of
historical data of devices in normal and failure mode for training algorithms.
In this work, we challenge two problems: 1) lack of storage data in the methods
above by creating a simulator and 2) applying existing online algorithms that
can faster detect a failure occurred in one of the components.
We created a Go-based (golang) package for simulating the behavior of modern
storage infrastructure. The software is based on the discrete-event modeling
paradigm and captures the structure and dynamics of high-level storage system
building blocks. The package's flexible structure allows us to create a model
of a real-world storage system with a configurable number of components. The
primary area of interest is exploring the storage machine's behavior under
stress testing or exploitation in the medium- or long-term for observing
failures of its components.
To discover failures in the time series distribution generated by the
simulator, we modified a change point detection algorithm that works in online
mode. The goal of the change-point detection is to discover differences in time
series distribution. This work describes an approach for failure detection in
time series data based on direct density ratio estimation via binary
classifiers.
- Abstract（参考訳）: 現代の大規模データファームは、分散インフラストラクチャにまたがる数十万のストレージデバイスで構成されている。
現代のデータセンター(コントローラ、リンク、SSD、HDDディスクなど)で使用されるデバイスは、ハードウェアとソフトウェアの問題によって故障する可能性がある。
このような障害や異常は、機械学習技術を用いてコンポーネントのアクティビティを監視することで検出できる。
これらの技術を使うためには、研究者は通常のデバイスの履歴データと、アルゴリズムのトレーニングに障害モードを必要とする。
本研究では,1)シミュレータ作成によるメソッド内のストレージデータの欠如,2)コンポーネントの1つで発生した障害を素早く検出できる既存のオンラインアルゴリズムの適用という2つの課題に挑戦する。
現代のストレージインフラストラクチャの振る舞いをシミュレートするためのGoベースの(golang)パッケージを作成しました。
このソフトウェアは離散イベントモデリングのパラダイムに基づいており、高レベルのストレージシステム構築ブロックの構造とダイナミクスをキャプチャする。
パッケージのフレキシブルな構造により、構成可能なコンポーネント数で現実世界のストレージシステムのモデルを作成することができます。
主な関心領域は、部品の故障を観察するための中長期のストレステストや利用の下での記憶装置の動作を探索することである。
シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
変化点検出の目標は、時系列分布の違いを発見することである。
本稿では,バイナリ分類器を用いた直接密度比推定に基づく時系列データの故障検出手法について述べる。
関連論文リスト
- The Causal Chambers: Real Physical Systems as a Testbed for AI Methodology [10.81691411087626]
AI、機械学習、統計学のいくつかの分野において、新しい方法やアルゴリズムの検証は、適切な実世界のデータセットの不足によって妨げられることが多い。
我々は,非自明だがよく理解された物理的システムから,大規模データセットを迅速かつ安価に生成できる2つのデバイスを構築した。
論文 参考訳（メタデータ） (2024-04-17T13:00:52Z) - DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data [0.0]
本稿では,Transformer と Dual Temporal Convolutional Network (TCN) に基づく異常検出・診断モデル DTAAD を提案する。
予測精度の向上と相関性の向上のために,スケーリング手法とフィードバック機構を導入している。
7つの公開データセットに対する実験により、DTAADは検出および診断性能の両面で現在最先端のベースライン法の大部分を超えていることが確認された。
論文 参考訳（メタデータ） (2023-02-17T06:59:45Z) - A Robust and Explainable Data-Driven Anomaly Detection Approach For
Power Electronics [56.86150790999639]
本稿では,2つの異常検出・分類手法,すなわち行列プロファイルアルゴリズムと異常変換器を提案する。
行列プロファイルアルゴリズムは、ストリーミング時系列データにおけるリアルタイム異常を検出するための一般化可能なアプローチとして適している。
検知器の感度、リコール、検出精度を調整するために、一連のカスタムフィルタが作成され、追加される。
論文 参考訳（メタデータ） (2022-09-23T06:09:35Z) - Online Self-Evolving Anomaly Detection in Cloud Computing Environments [6.480575492140354]
本稿では,クラウド信頼性保証のための自己進化型異常検出(SEAD)フレームワークを提案する。
我々のフレームワークは、新たに検証された異常記録を探索し、オンラインの異常検出を継続的に更新することによって、自己進化する。
我々の検出器は感度88.94%、平均94.60%を達成でき、実際の展開に適している。
論文 参考訳（メタデータ） (2021-11-16T05:13:38Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-09-08T14:07:55Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳（メタデータ） (2021-02-25T14:24:49Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-23T09:17:05Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳（メタデータ） (2020-09-16T15:52:04Z) - Frequency-based Multi Task learning With Attention Mechanism for Fault
Detection In Power Systems [6.4332733596587115]
本稿では,障害検出のための新しいディープラーニングベースのアプローチを導入し,実際のデータセット,すなわち部分放電検出タスクのためのKaggleプラットフォーム上でテストする。
提案手法では,時系列の特徴を抽出するためのアテンション機構を備えたLong-Short Term Memoryアーキテクチャを採用し,信号の周波数情報を利用した1D-Convolutional Neural Network構造を用いて予測を行う。
論文 参考訳（メタデータ） (2020-09-15T02:01:47Z) - Binary DAD-Net: Binarized Driveable Area Detection Network for
Autonomous Driving [94.40107679615618]
本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。
エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。
パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
論文 参考訳（メタデータ） (2020-06-15T07:09:01Z) - An Intelligent and Time-Efficient DDoS Identification Framework for
Real-Time Enterprise Networks SAD-F: Spark Based Anomaly Detection Framework [0.5811502603310248]
我々は、異なる機械学習技術を用いたDDoS異常検出のためのセキュリティ解析技術について検討する。
本稿では,システムへの入力として実際のトラフィックを扱う新しいアプローチを提案する。
提案するフレームワークの性能要因を3つの異なるテストベッドで検討・比較する。
論文 参考訳（メタデータ） (2020-01-21T06:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。