論文の概要: Large-scale End-of-Life Prediction of Hard Disks in Distributed Datacenters

• arxiv url: http://arxiv.org/abs/2303.08955v2
• Date: Mon, 20 Mar 2023 22:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 22:20:51.356637
• Title: Large-scale End-of-Life Prediction of Hard Disks in Distributed Datacenters
• Title（参考訳）: 分散データセンターにおけるハードディスクの大規模寿命予測
• Authors: Rohan Mohapatra, Austin Coursey and Saptarshi Sengupta
• Abstract要約: 高度に歪んだ健康統計データを用いて大規模予測分析を行う。 本稿では、健康統計系列の理解から得られたコンテキストが、ディスクが失敗する可能性のある数日の出力シーケンスを予測するのに役立つエンコーダ・デコーダLSTMモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On a daily basis, data centers process huge volumes of data backed by the proliferation of inexpensive hard disks. Data stored in these disks serve a range of critical functional needs from financial, and healthcare to aerospace. As such, premature disk failure and consequent loss of data can be catastrophic. To mitigate the risk of failures, cloud storage providers perform condition-based monitoring and replace hard disks before they fail. By estimating the remaining useful life of hard disk drives, one can predict the time-to-failure of a particular device and replace it at the right time, ensuring maximum utilization whilst reducing operational costs. In this work, large-scale predictive analyses are performed using severely skewed health statistics data by incorporating customized feature engineering and a suite of sequence learners. Past work suggests using LSTMs as an excellent approach to predicting remaining useful life. To this end, we present an encoder-decoder LSTM model where the context gained from understanding health statistics sequences aid in predicting an output sequence of the number of days remaining before a disk potentially fails. The models developed in this work are trained and tested across an exhaustive set of all of the 10 years of S.M.A.R.T. health data in circulation from Backblaze and on a wide variety of disk instances. It closes the knowledge gap on what full-scale training achieves on thousands of devices and advances the state-of-the-art by providing tangible metrics for evaluation and generalization for practitioners looking to extend their workflow to all years of health data in circulation across disk manufacturers. The encoder-decoder LSTM posted an RMSE of 0.83 during training and 0.86 during testing over the exhaustive 10 year data while being able to generalize competitively over other drives from the Seagate family.
• Abstract（参考訳）: データセンターは日常的に、安価なハードディスクの増殖に支えられた大量のデータを処理している。 これらのディスクに格納されたデータは、金融や医療、航空宇宙など、さまざまな重要な機能的ニーズに応える。 したがって、ディスクの早期故障とデータの損失は破滅的になる。 障害のリスクを軽減するため、クラウドストレージプロバイダは条件ベースの監視を行い、障害前にハードディスクを置き換える。 ハードディスクドライブの残りの有用寿命を推定することにより、特定の装置の故障を予測し、適切なタイミングで置き換えることができ、運用コストを削減しつつ最大限の利用を確保することができる。 本研究は,カスタマイズされた特徴工学とシーケンス学習者のスイートを組み込んで,重度に歪んだ健康統計データを用いて大規模予測分析を行う。 過去の研究は、LSTMを有用な生活を予測するための優れたアプローチとして用いていることを示唆している。 この目的のために,健康統計系列の理解から得られたコンテキストをエンコーダ・デコーダLSTMモデルを用いて,ディスクが故障する可能性のある日数の出力シーケンスを予測する。 この研究で開発されたモデルは、Backblazeおよび様々なディスクインスタンスから循環したS.M.A.R.T.の10年間の健康データ全体にわたって訓練され、テストされる。 それは、何千ものデバイスで本格的なトレーニングが達成するものに関する知識ギャップを埋め、ディスクメーカー全体にわたって流通しているあらゆる年次健康データにワークフローを拡張しようとする実践者に対して、評価と一般化のための具体的な指標を提供することによって、最先端技術を推進する。 エンコーダ・デコーダLSTMは訓練中に0.83、試験中に0.86のRMSEを投稿し、シーゲート・ファミリーの他のドライブに対して競争的に一般化することができた。

関連論文リスト

• Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
  ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:27:54Z)
• TFBEST: Dual-Aspect Transformer with Learnable Positional Encoding for Failure Prediction [1.223779595809275]
  ハードドライブの故障を予測するための時間融合バイエンコーダセルフアテンショントランス (TFBEST) を提案する。 これはエンコーダ-デコーダベースのディープラーニング技術であり、健康統計の理解から得られるコンテキストを強化する。 HDDデータを用いた実験により,本手法は最先端のRUL予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-06T01:03:14Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
  分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。 最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。 我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T04:34:54Z)
• Enterprise Disk Drive Scrubbing Based on Mondrian Conformal Predictors [1.290382979353427]
  ストレージアレイ全体を一度にスクラップすれば システム性能に悪影響を及ぼす データセンターの信頼性と電力効率を向上する選択的ディスクスクレイビング法を提案する。 総ストレージディスクの22.7%をスクレイプすることで、最適化されたエネルギー消費を実現し、データセンターの炭素フットプリントを削減できる。
  論文  参考訳（メタデータ） (2023-06-01T04:11:22Z)
• Remaining Useful Life Estimation of Hard Disk Drives using Bidirectional LSTM Networks [0.0]
  本稿では、運用障害に関連する有意義な属性を抽出し、健康統計データを前処理する方法について紹介する。 健康指標の時間経過を学習し,バニラLSTMおよびランダムフォレストモデルに対してベースライン化するために,複数日間の振り返り期間を持つ双方向LSTMを用いている。 本手法では,60日前のテストデータから,ディスク障害の発生を96.4%の精度で予測できる。
  論文  参考訳（メタデータ） (2021-09-11T19:26:07Z)
• Online detection of failures generated by storage simulator [2.3859858429583665]
  現代のストレージインフラストラクチャの動作をシミュレートするためのGoベースの(golang)パッケージを作成します。 パッケージの柔軟な構造により、多数のコンポーネントを持つ現実世界のストレージシステムのモデルを作成することができます。 シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2021-01-18T14:56:53Z)
• The Life and Death of SSDs and HDDs: Similarities, Differences, and Prediction Models [1.6795461001108098]
  本稿では、データセンターの典型的なストレージを構成するハードディスクドライブ(HDD)とソリッドステートドライブ(SSD)の比較研究を行う。 障害につながる作業負荷条件を特徴づけ、その根本原因が一般的な期待と異なることを示す。 我々は、驚くほど正確であることを示すいくつかの機械学習故障予測モデルを開発した。
  論文  参考訳（メタデータ） (2020-12-22T21:50:32Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。