論文の概要: Large-scale End-of-Life Prediction of Hard Disks in Distributed Datacenters

• arxiv url: http://arxiv.org/abs/2303.08955v1
• Date: Wed, 15 Mar 2023 21:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:39:13.593955
• Title: Large-scale End-of-Life Prediction of Hard Disks in Distributed Datacenters
• Title（参考訳）: 分散データセンターにおけるハードディスクの大規模寿命予測
• Authors: Rohan Mohapatra, Austin Coursey and Saptarshi Sengupta
• Abstract要約: 高度に歪んだ健康統計データを用いて大規模予測分析を行う。 本稿では、健康統計系列の理解から得られたコンテキストが、ディスクが失敗する可能性のある数日の出力シーケンスを予測するのに役立つエンコーダ・デコーダLSTMモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On a daily basis, data centers process huge volumes of data backed by the proliferation of inexpensive hard disks. Data stored in these disks serve a range of critical functional needs from financial, and healthcare to aerospace. As such, premature disk failure and consequent loss of data can be catastrophic. To mitigate the risk of failures, cloud storage providers perform condition-based monitoring and replace hard disks before they fail. By estimating the remaining useful life of hard disk drives, one can predict the time-to-failure of a particular device and replace it at the right time, ensuring maximum utilization whilst reducing operational costs. In this work, large-scale predictive analyses are performed using severely skewed health statistics data by incorporating customized feature engineering and a suite of sequence learners. Past work suggests using LSTMs as an excellent approach to predicting remaining useful life. To this end, we present an encoder-decoder LSTM model where the context gained from understanding health statistics sequences aid in predicting an output sequence of the number of days remaining before a disk potentially fails. The models developed in this work are trained and tested across an exhaustive set of all of the 10 years of S.M.A.R.T. health data in circulation from Backblaze and on a wide variety of disk instances. It closes the knowledge gap on what full-scale training achieves on thousands of devices and advances the state-of-the-art by providing tangible metrics for evaluation and generalization for practitioners looking to extend their workflow to all years of health data in circulation across disk manufacturers. The encoder-decoder LSTM posted an RMSE of 0.83 on an exhaustive set while being able to generalize competitively over the other Seagate family hard drives.
• Abstract（参考訳）: データセンターは日常的に、安価なハードディスクの増殖に支えられた大量のデータを処理している。 これらのディスクに格納されたデータは、金融や医療、航空宇宙など、さまざまな重要な機能的ニーズに応える。 したがって、ディスクの早期故障とデータの損失は破滅的になる。 障害のリスクを軽減するため、クラウドストレージプロバイダは条件ベースの監視を行い、障害前にハードディスクを置き換える。 ハードディスクドライブの残りの有用寿命を推定することにより、特定の装置の故障を予測し、適切なタイミングで置き換えることができ、運用コストを削減しつつ最大限の利用を確保することができる。 本研究は,カスタマイズされた特徴工学とシーケンス学習者のスイートを組み込んで,重度に歪んだ健康統計データを用いて大規模予測分析を行う。 過去の研究は、LSTMを有用な生活を予測するための優れたアプローチとして用いていることを示唆している。 この目的のために,健康統計系列の理解から得られたコンテキストをエンコーダ・デコーダLSTMモデルを用いて,ディスクが故障する可能性のある日数の出力シーケンスを予測する。 この研究で開発されたモデルは、Backblazeおよび様々なディスクインスタンスから循環したS.M.A.R.T.の10年間の健康データ全体にわたって訓練され、テストされる。 それは、何千ものデバイスで本格的なトレーニングが達成するものに関する知識ギャップを埋め、ディスクメーカー全体にわたって流通しているあらゆる年次健康データにワークフローを拡張しようとする実践者に対して、評価と一般化のための具体的な指標を提供することによって、最先端技術を推進する。 エンコーダ・デコーダLSTMは、RMSEの0.83を、他のシーゲートファミリーのハードドライブに競争力を持たせながら、徹底したセットに投稿した。

関連論文リスト

• AutoShard: Automated Embedding Table Sharding for Recommender Systems [54.82606459574231]
  これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。 AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。 当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
  論文  参考訳（メタデータ） (2022-08-12T17:48:01Z)
• Kubric: A scalable dataset generator [73.78485189435729]
  KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。 本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
  論文  参考訳（メタデータ） (2022-03-07T18:13:59Z)
• Remaining Useful Life Estimation of Hard Disk Drives using Bidirectional LSTM Networks [0.0]
  本稿では、運用障害に関連する有意義な属性を抽出し、健康統計データを前処理する方法について紹介する。 健康指標の時間経過を学習し,バニラLSTMおよびランダムフォレストモデルに対してベースライン化するために,複数日間の振り返り期間を持つ双方向LSTMを用いている。 本手法では,60日前のテストデータから,ディスク障害の発生を96.4%の精度で予測できる。
  論文  参考訳（メタデータ） (2021-09-11T19:26:07Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Interpretable Predictive Maintenance for Hard Drives [0.5352699766206808]
  最近の機械学習の解釈アルゴリズムを用いて,データセンタのハードドライブ障害を予測するタスクを検討する。 これらの手法が短期および長期のドライブの健康に関する有意義な洞察を提供しつつ、高い予測性能を維持できることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T13:25:58Z)
• Online detection of failures generated by storage simulator [2.3859858429583665]
  現代のストレージインフラストラクチャの動作をシミュレートするためのGoベースの(golang)パッケージを作成します。 パッケージの柔軟な構造により、多数のコンポーネントを持つ現実世界のストレージシステムのモデルを作成することができます。 シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2021-01-18T14:56:53Z)
• The Life and Death of SSDs and HDDs: Similarities, Differences, and Prediction Models [1.6795461001108098]
  本稿では、データセンターの典型的なストレージを構成するハードディスクドライブ(HDD)とソリッドステートドライブ(SSD)の比較研究を行う。 障害につながる作業負荷条件を特徴づけ、その根本原因が一般的な期待と異なることを示す。 我々は、驚くほど正確であることを示すいくつかの機械学習故障予測モデルを開発した。
  論文  参考訳（メタデータ） (2020-12-22T21:50:32Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Predicting Future Sales of Retail Products using Machine Learning [0.0]
  本稿では,1C社が提供する日次販売データからなる時系列データセットについて検討する。 目標は、過去のデータから、来月のすべての製品およびストアの総売上を予測することだ。 XGBoostはこのデータセットよりもLSTMよりも優れていることが判明した。
  論文  参考訳（メタデータ） (2020-08-18T07:36:14Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。