論文の概要: Towards Learned Predictability of Storage Systems

• arxiv url: http://arxiv.org/abs/2307.16288v1
• Date: Sun, 30 Jul 2023 17:53:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 16:38:31.815396
• Title: Towards Learned Predictability of Storage Systems
• Title（参考訳）: ストレージシステムの予測可能性の学習に向けて
• Authors: Chenyuan Wu
• Abstract要約: ストレージシステムは、データセンターの基本的なビルディングブロックになっている。 ストレージの普及と関心にもかかわらず、信頼性のあるストレージシステムの設計と実装は依然として困難である。 ストレージシステムの予測可能性に向けて、近年様々なメカニズムとフィールド研究が提案されている。 3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of cloud computing and big data technologies, storage systems have become a fundamental building block of datacenters, incorporating hardware innovations such as flash solid state drives and non-volatile memories, as well as software infrastructures such as RAID and distributed file systems. Despite the growing popularity and interests in storage, designing and implementing reliable storage systems remains challenging, due to their performance instability and prevailing hardware failures. Proactive prediction greatly strengthens the reliability of storage systems. There are two dimensions of prediction: performance and failure. Ideally, through detecting in advance the slow IO requests, and predicting device failures before they really happen, we can build storage systems with especially low tail latency and high availability. While its importance is well recognized, such proactive prediction in storage systems, on the other hand, is particularly difficult. To move towards predictability of storage systems, various mechanisms and field studies have been proposed in the past few years. In this report, we present a survey of these mechanisms and field studies, focusing on machine learning based black-box approaches. Based on three representative research works, we discuss where and how machine learning should be applied in this field. The strengths and limitations of each research work are also evaluated in detail.
• Abstract（参考訳）: クラウドコンピューティングとビッグデータ技術の急速な発展により、ストレージシステムはデータセンターの基本的なビルディングブロックとなり、フラッシュソリッドステートドライブや不揮発性メモリなどのハードウェア革新や、RAIDや分散ファイルシステムなどのソフトウェア基盤を取り入れている。 ストレージの普及と関心にもかかわらず、信頼性の高いストレージシステムの設計と実装は、パフォーマンスの不安定さと一般的なハードウェア障害のため、依然として難しい。 積極的な予測はストレージシステムの信頼性を大幅に強化する。 予測には、パフォーマンスと失敗の2つの側面がある。 理想的には、遅いIOリクエストを事前に検出し、実際に発生する前にデバイス障害を予測することで、特にテールレイテンシと高可用性を備えたストレージシステムを構築することができる。 その重要性はよく認識されているが、ストレージシステムにおけるこのような積極的な予測は特に困難である。 近年,ストレージシステムの予測可能性に向けて,様々な機構とフィールド研究が提案されている。 本稿では,これらのメカニズムとフィールドスタディについて,機械学習に基づくブラックボックスアプローチに着目した調査を行う。 3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。 それぞれの研究成果の強さや限界も詳細に評価されている。

関連論文リスト

• Towards Weaknesses and Attack Patterns Prediction for IoT Devices [7.661561516558234]
  本稿では,IoTデバイスの事前デプロイセキュリティチェックを容易にするための費用効率のよいプラットフォームを提案する。 このプラットフォームでは、双方向長短メモリ(Bidirectional Long Short-Term Memory, Bi-LSTM)ネットワークを使用して、デバイス関連のテキストデータを分析し、弱点を予測する。 同時に、グラディエントブースティングマシン(GBM)モデルは、これらの弱点を悪用する可能性のある攻撃パターンを予測する。
  論文  参考訳（メタデータ） (2024-08-23T15:43:51Z)
• Design and Implementation of an Automated Disaster-recovery System for a Kubernetes Cluster Using LSTM [0.0]
  本研究では,管理用プレートフォームとバックアップ・修復ツールを統合するシステム構造について紹介する。 実験の結果,ヒトの介入なしに15秒以内に修復処理を行い,迅速な回復を可能にした。
  論文  参考訳（メタデータ） (2024-02-05T12:00:31Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Multi Agent System for Machine Learning Under Uncertainty in Cyber Physical Manufacturing System [78.60415450507706]
  近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。 ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。 本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
  論文  参考訳（メタデータ） (2021-07-28T10:28:05Z)
• Federated Learning for Intrusion Detection System: Concepts, Challenges and Future Directions [0.20236506875465865]
  侵入検知システムは、スマートデバイスのセキュリティとプライバシを確保する上で重要な役割を果たす。 本稿では,侵入検知システムにおけるFLの使用について,広範囲かつ徹底的に検討することを目的とする。
  論文  参考訳（メタデータ） (2021-06-16T13:13:04Z)
• Large-scale memory failure prediction using mcelog-based Data Mining and Machine Learning [0.0]
  データセンターでは、メモリ障害による予期せぬダウンタイムがサーバーの安定性の低下につながる可能性があります。 本稿では、一般的に使用されるスキルとそれらがもたらす改善を比較要約する。 私たちが提案したシングルモデルは、第2回Alibaba Cloud AIOps Competitionで上位15位を獲得しました。
  論文  参考訳（メタデータ） (2021-04-24T11:38:05Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Online detection of failures generated by storage simulator [2.3859858429583665]
  現代のストレージインフラストラクチャの動作をシミュレートするためのGoベースの(golang)パッケージを作成します。 パッケージの柔軟な構造により、多数のコンポーネントを持つ現実世界のストレージシステムのモデルを作成することができます。 シミュレータが生成した時系列分布の故障を検出するため,オンラインモードで動作する変更点検出アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2021-01-18T14:56:53Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Predictive Maintenance for Edge-Based Sensor Networks: A Deep Reinforcement Learning Approach [68.40429597811071]
  未計画の設備停止のリスクは、収益発生資産の予測保守によって最小化することができる。 機器に基づくセンサネットワークのコンテキストから予測機器のメンテナンスを行うために,モデルフリーのDeep Reinforcement Learningアルゴリズムを提案する。 従来のブラックボックス回帰モデルとは異なり、提案アルゴリズムは最適なメンテナンスポリシーを自己学習し、各機器に対して実行可能なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2020-07-07T10:00:32Z)
• Data Mining with Big Data in Intrusion Detection Systems: A Systematic Literature Review [68.15472610671748]
  クラウドコンピューティングは、複雑で高性能でスケーラブルな計算のために、強力で必要不可欠な技術になっている。 データ生成の迅速化とボリュームは、データ管理とセキュリティに重大な課題をもたらし始めている。 ビッグデータ設定における侵入検知システム(IDS)の設計と展開が重要視されている。
  論文  参考訳（メタデータ） (2020-05-23T20:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。