論文の概要: Large-scale memory failure prediction using mcelog-based Data Mining and
Machine Learning
- arxiv url: http://arxiv.org/abs/2105.04547v1
- Date: Sat, 24 Apr 2021 11:38:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 06:47:56.849559
- Title: Large-scale memory failure prediction using mcelog-based Data Mining and
Machine Learning
- Title(参考訳): データマイニングと機械学習を用いた大規模メモリ障害予測
- Authors: Chengdong Yao
- Abstract要約: データセンターでは、メモリ障害による予期せぬダウンタイムがサーバーの安定性の低下につながる可能性があります。
本稿では、一般的に使用されるスキルとそれらがもたらす改善を比較要約する。
私たちが提案したシングルモデルは、第2回Alibaba Cloud AIOps Competitionで上位15位を獲得しました。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In the data center, unexpected downtime caused by memory failures can lead to
a decline in the stability of the server and even the entire information
technology infrastructure, which harms the business. Therefore, whether the
memory failure can be accurately predicted in advance has become one of the
most important issues to be studied in the data center. However, for the memory
failure prediction in the production system, it is necessary to solve technical
problems such as huge data noise and extreme imbalance between positive and
negative samples, and at the same time ensure the long-term stability of the
algorithm. This paper compares and summarizes some commonly used skills and the
improvement they can bring. The single model we proposed won the top 15th in
the 2nd Alibaba Cloud AIOps Competition belonging to the 25th Pacific-Asia
Conference on Knowledge Discovery and Data Mining.
- Abstract(参考訳): データセンタでは、メモリ障害による予期せぬダウンタイムは、サーバの安定性と、ビジネスに害を与える情報技術基盤全体の低下につながる可能性がある。
したがって、メモリ障害を事前に正確に予測できるかどうかが、データセンターで研究すべき最も重要な課題の1つとなっている。
しかし、生産システムにおけるメモリ障害予測には、巨大なデータノイズや正と負のサンプル間の極端な不均衡といった技術的問題を解く必要があり、同時にアルゴリズムの長期的な安定性を確保する必要がある。
本稿では、一般的に使用されるスキルとそれらがもたらす改善を比較要約する。
私たちが提案した1つのモデルは、第25回太平洋アジア知識発見およびデータマイニング会議に属する第2回Alibaba Cloud AIOpsコンペティションでトップ15を獲得した。
関連論文リスト
- Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。
信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
論文 参考訳(メタデータ) (2024-06-29T02:40:28Z) - F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。
タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。
従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
論文 参考訳(メタデータ) (2024-06-23T21:28:50Z) - Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data [0.0]
本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。
本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
論文 参考訳(メタデータ) (2024-03-27T22:39:08Z) - Diffusion-based Time Series Data Imputation for Microsoft 365 [35.16965409097466]
本稿では,サンプル効率のよい拡散モデルであるDiffusion+によるデータ計算によるデータ品質の向上に焦点をあてる。
我々の実験と応用実践は、下流の故障予測タスクの性能向上に我々のモデルが貢献していることを示している。
論文 参考訳(メタデータ) (2023-08-03T10:25:17Z) - Towards Learned Predictability of Storage Systems [0.0]
ストレージシステムは、データセンターの基本的なビルディングブロックになっている。
ストレージの普及と関心にもかかわらず、信頼性のあるストレージシステムの設計と実装は依然として困難である。
ストレージシステムの予測可能性に向けて、近年様々なメカニズムとフィールド研究が提案されている。
3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。
論文 参考訳(メタデータ) (2023-07-30T17:53:08Z) - Measuring and Mitigating Local Instability in Deep Neural Networks [23.342675028217762]
モデルが同じデータ上で再トレーニングされた場合でも,トレーニングプロセスにおける原理性の結果,モデルがどう変化するかを検討する。
自然言語理解(NLU)タスクでは,クエリのかなりの部分の予測が不安定であることがわかった。
局所的な安定性を推定する新たなデータ中心手法を提案する。
論文 参考訳(メタデータ) (2023-05-18T00:34:15Z) - Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced
Dataset and Benchmark [62.997667081978825]
本稿では,交通事故における傷害の重大性を予測するために,機械学習アルゴリズムの性能を評価する新しいデータセットを提案する。
データセットは、英国運輸省から公開されているデータセットを集約することで作成される。
論文 参考訳(メタデータ) (2022-05-20T21:15:26Z) - DRAM Failure Prediction in AIOps: Empirical Evaluation, Challenges and
Opportunities [17.21846133804582]
本稿では,DRAM障害予測のための多様な機械学習手法の実証的評価について述べる。
まず,多クラス分類タスクとして問題を定式化し,各データソースと複数データソースの両方において,人気/最先端の7つの分類器を徹底的に評価する。
この問題を教師なし異常検出タスクとして定式化し,3つの最先端異常検出器を評価した。
論文 参考訳(メタデータ) (2021-04-30T15:20:22Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T09:17:05Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。