論文の概要: Enterprise Disk Drive Scrubbing Based on Mondrian Conformal Predictors
- arxiv url: http://arxiv.org/abs/2306.17169v1
- Date: Thu, 1 Jun 2023 04:11:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-09 14:18:26.240987
- Title: Enterprise Disk Drive Scrubbing Based on Mondrian Conformal Predictors
- Title（参考訳）: モンドリアン共形予測器を用いたエンタプライズディスクドライブスクラブ
- Authors: Rahul Vishwakarma, Jinha Hwang, Soundouss Messoudi, Ava Hedayatipour
- Abstract要約: ストレージアレイ全体を一度にスクラップすれば システム性能に悪影響を及ぼす
データセンターの信頼性と電力効率を向上する選択的ディスクスクレイビング法を提案する。
総ストレージディスクの22.7%をスクレイプすることで、最適化されたエネルギー消費を実現し、データセンターの炭素フットプリントを削減できる。
- 参考スコア（独自算出の注目度）: 1.290382979353427
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Disk scrubbing is a process aimed at resolving read errors on disks by
reading data from the disk. However, scrubbing the entire storage array at once
can adversely impact system performance, particularly during periods of high
input/output operations. Additionally, the continuous reading of data from
disks when scrubbing can result in wear and tear, especially on larger capacity
disks, due to the significant time and energy consumption involved. To address
these issues, we propose a selective disk scrubbing method that enhances the
overall reliability and power efficiency in data centers. Our method employs a
Machine Learning model based on Mondrian Conformal prediction to identify
specific disks for scrubbing, by proactively predicting the health status of
each disk in the storage pool, forecasting n-days in advance, and using an
open-source dataset. For disks predicted as non-healthy, we mark them for
replacement without further action. For healthy drives, we create a set and
quantify their relative health across the entire storage pool based on the
predictor's confidence. This enables us to prioritize selective scrubbing for
drives with established scrubbing frequency based on the scrub cycle. The
method we propose provides an efficient and dependable solution for managing
enterprise disk drives. By scrubbing just 22.7% of the total storage disks, we
can achieve optimized energy consumption and reduce the carbon footprint of the
data center.
- Abstract（参考訳）: ディスクスクラブ(英: disk scrubbing)は、ディスクからデータを読み込み、ディスク上の読み取りエラーを解決するプロセスである。
しかし、ストレージアレイ全体を一度にスクラップすることはシステム性能、特に高入力/出力操作の期間に悪影響を及ぼす可能性がある。
さらに、スクラブ時のディスクからのデータの連続的な読み取りは、特に大きな容量ディスクにおいて、大きな時間とエネルギー消費を伴うため、摩耗や裂け目を引き起こす可能性がある。
これらの問題に対処するため、データセンター全体の信頼性と電力効率を向上させる選択的ディスクスクラブ法を提案する。
本手法では,mondrian conformal predictionに基づく機械学習モデルを用いて,ストレージプール内の各ディスクの健康状態を積極的に予測し,事前にn日を予測し,オープンソースのデータセットを用いてスクラブ用ディスクを識別する。
健康でないと予測されたディスクについては、追加のアクションなしに置き換えをマークします。
健全なドライブでは、予測者の自信に基づいて、セットを作成し、ストレージプール全体の相対的な健康を定量化する。
これにより、スクラブサイクルに基づいて、確立されたスクラブ周波数でドライブの選択スクラブを優先順位付けできる。
本提案手法は,エンタープライズディスクドライブ管理のための効率的かつ信頼性の高いソリューションを提供する。
全ストレージディスクの22.7%をスクレイプすることで、最適化されたエネルギー消費を実現し、データセンターの炭素フットプリントを削減できる。
関連論文リスト
- Dataset Growth [59.68869191071907]
InfoGrowthは、データのクリーニングとセレクションのための効率的なオンラインアルゴリズムである。
シングルモーダルタスクとマルチモーダルタスクの両方において、データ品質/効率を改善することができる。
論文 参考訳（メタデータ） (2024-05-28T16:43:57Z) - Disk failure prediction based on multi-layer domain adaptive learning [6.757777833155211]
本稿では,多層ドメイン適応学習技術を活用したディスク故障予測手法を提案する。
提案手法は信頼性の高い予測モデルを生成し, 故障サンプルが少ないディスクデータ上での故障を予測できる能力を向上させることが実証された。
論文 参考訳（メタデータ） (2023-10-10T11:28:40Z) - TFBEST: Dual-Aspect Transformer with Learnable Positional Encoding for
Failure Prediction [1.223779595809275]
ハードドライブの故障を予測するための時間融合バイエンコーダセルフアテンショントランス (TFBEST) を提案する。
これはエンコーダ-デコーダベースのディープラーニング技術であり、健康統計の理解から得られるコンテキストを強化する。
HDDデータを用いた実験により,本手法は最先端のRUL予測法よりも優れていた。
論文 参考訳（メタデータ） (2023-09-06T01:03:14Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T11:30:45Z) - Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。
本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
論文 参考訳（メタデータ） (2023-05-26T14:00:35Z) - Large-scale End-of-Life Prediction of Hard Disks in Distributed
Datacenters [0.0]
高度に歪んだ健康統計データを用いて大規模予測分析を行う。
本稿では、健康統計系列の理解から得られたコンテキストが、ディスクが失敗する可能性のある数日の出力シーケンスを予測するのに役立つエンコーダ・デコーダLSTMモデルを提案する。
論文 参考訳（メタデータ） (2023-03-15T21:55:07Z) - UNFUSED: UNsupervised Finetuning Using SElf supervised Distillation [53.06337011259031]
音声分類に自己教師付き学習を活用する新しい手法UnFuSeDを提案する。
エンコーダを用いて、実際の微調整ステップの前に、教師なしの微調整のための擬似ラベルを生成する。
UnFuSeDはLAPEベンチマークで最先端の結果を達成し、すべてのベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2023-03-10T02:43:36Z) - AutoShard: Automated Embedding Table Sharding for Recommender Systems [54.82606459574231]
これは、ニューラルコストモデルを使用して、マルチテーブルコストを直接予測するものです。
AutoShardは、数百のテーブルを数秒で効率的にシャーディングできる。
当社のアルゴリズムはMetaプロダクション環境にデプロイされています。
論文 参考訳（メタデータ） (2022-08-12T17:48:01Z) - Remaining Useful Life Estimation of Hard Disk Drives using Bidirectional
LSTM Networks [0.0]
本稿では、運用障害に関連する有意義な属性を抽出し、健康統計データを前処理する方法について紹介する。
健康指標の時間経過を学習し,バニラLSTMおよびランダムフォレストモデルに対してベースライン化するために,複数日間の振り返り期間を持つ双方向LSTMを用いている。
本手法では,60日前のテストデータから,ディスク障害の発生を96.4%の精度で予測できる。
論文 参考訳（メタデータ） (2021-09-11T19:26:07Z) - Decision-making Oriented Clustering: Application to Pricing and Power
Consumption Scheduling [61.062312682535755]
本稿では、意思決定指向クラスタリングの枠組みを定式化し、データ空間の判断に基づく分割と適切な代表決定を提供するアルゴリズムを提案する。
この新しいフレームワークとアルゴリズムを、リアルタイム価格と消費電力スケジューリングの典型的な問題に適用することにより、洞察に富んだ分析結果を得る。
論文 参考訳（メタデータ） (2021-06-02T08:41:04Z) - STANNIS: Low-Power Acceleration of Deep Neural Network Training Using
Computational Storage [1.4680035572775534]
本稿では,計算記憶装置のクラスタ上でのニューラルネットワークの分散インストレージトレーニングのためのフレームワークを提案する。
このようなデバイスはハードウェアアクセラレーターを含むだけでなく、ホストとストレージの間のデータ移動も排除し、パフォーマンスと省電力が向上する。
論文 参考訳（メタデータ） (2020-02-17T19:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。