論文の概要: Large-scale memory failure prediction using mcelog-based Data Mining and Machine Learning

• arxiv url: http://arxiv.org/abs/2105.04547v1
• Date: Sat, 24 Apr 2021 11:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 06:47:56.849559
• Title: Large-scale memory failure prediction using mcelog-based Data Mining and Machine Learning
• Title（参考訳）: データマイニングと機械学習を用いた大規模メモリ障害予測
• Authors: Chengdong Yao
• Abstract要約: データセンターでは、メモリ障害による予期せぬダウンタイムがサーバーの安定性の低下につながる可能性があります。 本稿では、一般的に使用されるスキルとそれらがもたらす改善を比較要約する。 私たちが提案したシングルモデルは、第2回Alibaba Cloud AIOps Competitionで上位15位を獲得しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In the data center, unexpected downtime caused by memory failures can lead to a decline in the stability of the server and even the entire information technology infrastructure, which harms the business. Therefore, whether the memory failure can be accurately predicted in advance has become one of the most important issues to be studied in the data center. However, for the memory failure prediction in the production system, it is necessary to solve technical problems such as huge data noise and extreme imbalance between positive and negative samples, and at the same time ensure the long-term stability of the algorithm. This paper compares and summarizes some commonly used skills and the improvement they can bring. The single model we proposed won the top 15th in the 2nd Alibaba Cloud AIOps Competition belonging to the 25th Pacific-Asia Conference on Knowledge Discovery and Data Mining.
• Abstract（参考訳）: データセンタでは、メモリ障害による予期せぬダウンタイムは、サーバの安定性と、ビジネスに害を与える情報技術基盤全体の低下につながる可能性がある。 したがって、メモリ障害を事前に正確に予測できるかどうかが、データセンターで研究すべき最も重要な課題の1つとなっている。 しかし、生産システムにおけるメモリ障害予測には、巨大なデータノイズや正と負のサンプル間の極端な不均衡といった技術的問題を解く必要があり、同時にアルゴリズムの長期的な安定性を確保する必要がある。 本稿では、一般的に使用されるスキルとそれらがもたらす改善を比較要約する。 私たちが提案した1つのモデルは、第25回太平洋アジア知識発見およびデータマイニング会議に属する第2回Alibaba Cloud AIOpsコンペティションでトップ15を獲得した。

関連論文リスト

• Towards Robust Stability Prediction in Smart Grids: GAN-based Approach under Data Constraints and Adversarial Challenges [53.2306792009435]
  本稿では,安定したデータのみを用いて,スマートグリッドの不安定性を検出する新しいフレームワークを提案する。 ジェネレータはGAN(Generative Adversarial Network)に依存しており、ジェネレータは不安定なデータを生成するために訓練される。 我々の解は、実世界の安定と不安定なサンプルからなるデータセットでテストされ、格子安定性の予測において最大97.5%、敵攻撃の検出において最大98.9%の精度を達成する。
  論文  参考訳（メタデータ） (2025-01-27T20:48:25Z)
• Bridging Smart Meter Gaps: A Benchmark of Statistical, Machine Learning and Time Series Foundation Models for Data Imputation [0.0]
  スマートグリッドにおける時系列データのギャップは、バイアス消費の分析や信頼性の高い予測を妨げる可能性がある。 生成人工知能(Generative Artificial Intelligence)は、従来の統計手法よりも優れた、有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-01-13T12:41:27Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data [0.0]
  本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。 本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
  論文  参考訳（メタデータ） (2024-03-27T22:39:08Z)
• Diffusion-based Time Series Data Imputation for Microsoft 365 [35.16965409097466]
  本稿では,サンプル効率のよい拡散モデルであるDiffusion+によるデータ計算によるデータ品質の向上に焦点をあてる。 我々の実験と応用実践は、下流の故障予測タスクの性能向上に我々のモデルが貢献していることを示している。
  論文  参考訳（メタデータ） (2023-08-03T10:25:17Z)
• Towards Learned Predictability of Storage Systems [0.0]
  ストレージシステムは、データセンターの基本的なビルディングブロックになっている。 ストレージの普及と関心にもかかわらず、信頼性のあるストレージシステムの設計と実装は依然として困難である。 ストレージシステムの予測可能性に向けて、近年様々なメカニズムとフィールド研究が提案されている。 3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。
  論文  参考訳（メタデータ） (2023-07-30T17:53:08Z)
• Measuring and Mitigating Local Instability in Deep Neural Networks [23.342675028217762]
  モデルが同じデータ上で再トレーニングされた場合でも,トレーニングプロセスにおける原理性の結果,モデルがどう変化するかを検討する。 自然言語理解(NLU)タスクでは,クエリのかなりの部分の予測が不安定であることがわかった。 局所的な安定性を推定する新たなデータ中心手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T00:34:15Z)
• Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark [62.997667081978825]
  本稿では,交通事故における傷害の重大性を予測するために,機械学習アルゴリズムの性能を評価する新しいデータセットを提案する。 データセットは、英国運輸省から公開されているデータセットを集約することで作成される。
  論文  参考訳（メタデータ） (2022-05-20T21:15:26Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。