論文の概要: Performance Modeling of Data Storage Systems using Generative Models

• arxiv url: http://arxiv.org/abs/2307.02073v1
• Date: Wed, 5 Jul 2023 07:30:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 14:42:57.844767
• Title: Performance Modeling of Data Storage Systems using Generative Models
• Title（参考訳）: 生成モデルを用いたデータストレージシステムの性能モデリング
• Authors: Abdalaziz Rashid Al-Maeeni, Aziz Temirkhanov, Artem Ryzhikov, Mikhail Hushchyn
• Abstract要約: 我々は,機械学習に基づく生成モデルを用いて,記憶システムの複数のモデルを開発した。 実験の結果,IOPSは4～10%,遅延予測は3～16%の誤差を示した。
• 参考スコア（独自算出の注目度）: 0.5352699766206809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-precision modeling of systems is one of the main areas of industrial data analysis. Models of systems, their digital twins, are used to predict their behavior under various conditions. We have developed several models of a storage system using machine learning-based generative models. The system consists of several components: hard disk drive (HDD) and solid-state drive (SSD) storage pools with different RAID schemes and cache. Each storage component is represented by a probabilistic model that describes the probability distribution of the component performance in terms of IOPS and latency, depending on their configuration and external data load parameters. The results of the experiments demonstrate the errors of 4-10 % for IOPS and 3-16 % for latency predictions depending on the components and models of the system. The predictions show up to 0.99 Pearson correlation with Little's law, which can be used for unsupervised reliability checks of the models. In addition, we present novel data sets that can be used for benchmarking regression algorithms, conditional generative models, and uncertainty estimation methods in machine learning.
• Abstract（参考訳）: システムの高精度モデリングは、産業データ分析の主要な分野の1つである。 システムのモデル、すなわちデジタル双生児は、様々な条件下での振る舞いを予測するために使用される。 機械学習に基づく生成モデルを用いて,ストレージシステムの複数のモデルを開発した。 このシステムは、ハードディスクドライブ(HDD)と、RAIDスキームとキャッシュの異なるソリッドステートドライブ(SSD)ストレージプールの2つのコンポーネントで構成されている。 各ストレージコンポーネントは、構成や外部データロードパラメータに応じて、IOPSとレイテンシの観点からコンポーネントのパフォーマンスの確率分布を記述する確率論的モデルによって表現される。 実験の結果、IOPSでは4～10%、システムのコンポーネントやモデルによってレイテンシ予測では3～16%の誤差が示された。 これらの予測は、モデルの教師なし信頼性チェックに使用できるリトルの法則と最大で 0.99 ピアソンの相関関係を示す。 さらに,機械学習における回帰アルゴリズム,条件付き生成モデル,不確実性推定手法のベンチマークに使用できる新しいデータセットを提案する。

関連論文リスト

• Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
  カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。 適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。 最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-10-05T14:08:42Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• Device Modeling Bias in ReRAM-based Neural Network Simulations [1.5490932775843136]
  ジャンプテーブルのようなデータ駆動モデリングアプローチは、ニューラルネットワークシミュレーションのためのメモリデバイスをモデル化することを約束している。 本研究では,様々なジャンプテーブルデバイスモデルが達成したネットワーク性能評価に与える影響について検討する。 MNISTでトレーニングされた多層パーセプトロンの結果は、バイナリに基づくデバイスモデルが予測不可能に振る舞うことを示した。
  論文  参考訳（メタデータ） (2022-11-29T04:45:06Z)
• HigeNet: A Highly Efficient Modeling for Long Sequence Time Series Prediction in AIOps [30.963758935255075]
  本稿では,HigeNetという高効率モデルを提案し,時系列時系列の予測を行う。 モデルのトレーニング時間,資源使用量,精度は,5つの最先端競合モデルよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T13:48:43Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• A Framework for Machine Learning of Model Error in Dynamical Systems [7.384376731453594]
  データから動的システムを特定するために,機械的アプローチと機械学習アプローチを混在させる統一フレームワークを提案する。 モデルエラーがメモリレスであり、大きなメモリを持つ問題に対して、連続時間と離散時間の両方で問題を提起した。 ハイブリッド手法は、データ飢餓、モデルの複雑さの要求、全体的な予測性能において、データ駆動アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-14T12:47:48Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。