論文の概要: Challenges and Solutions to Build a Data Pipeline to Identify Anomalies in Enterprise System Performance

• arxiv url: http://arxiv.org/abs/2112.08940v1
• Date: Mon, 13 Dec 2021 22:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 16:34:07.591678
• Title: Challenges and Solutions to Build a Data Pipeline to Identify Anomalies in Enterprise System Performance
• Title（参考訳）: 企業システムパフォーマンスの異常を識別するデータパイプライン構築の課題と解決策
• Authors: Xiaobo Huang, Amitabha Banerjee, Chien-Chia Chen, Chengzhi Huang, Tzu Yi Chuang, Abhishek Srivastava, Razvan Cheveresan
• Abstract要約: MLに基づく異常検出システムにおけるデータ活用の課題について論じる。 これらの課題に対処することで、パフォーマンス異常検出モデルの精度を30%向上するだけでなく、モデルの性能が経時的に劣化しないことを確実にする。
• 参考スコア（独自算出の注目度）: 3.037408957267527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We discuss how VMware is solving the following challenges to harness data to operate our ML-based anomaly detection system to detect performance issues in our Software Defined Data Center (SDDC) enterprise deployments: (i) label scarcity and label bias due to heavy dependency on unscalable human annotators, and (ii) data drifts due to ever-changing workload patterns, software stack and underlying hardware. Our anomaly detection system has been deployed in production for many years and has successfully detected numerous major performance issues. We demonstrate that by addressing these data challenges, we not only improve the accuracy of our performance anomaly detection model by 30%, but also ensure that the model performance to never degrade over time.
• Abstract（参考訳）: VMwareは、MLベースの異常検出システムを運用し、Software Defined Data Center(SDDC)エンタープライズデプロイメントのパフォーマンス問題を検出するために、以下の課題を解決しようとしている。 (i)不適合な人間の注釈装置への重依存によるラベル不足とラベルバイアス、 (II) ワークロードパターンの変化,ソフトウェアスタック,基盤となるハードウェアなどによるデータドリフト。 当社の異常検出システムは,長年にわたって本番環境に展開され,多数の主要な性能問題の検出に成功している。 これらのデータ課題に対処することで,性能異常検出モデルの精度を30%向上させるだけでなく,モデル性能が経時的に低下しないことを示す。

関連論文リスト

• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Robust Multimodal Failure Detection for Microservice Systems [32.25907616511765]
  AnoFusionは、マイクロサービスシステムに対する教師なしの障害検出アプローチである。 異種マルチモーダルデータの相関を学習し、グラフ注意ネットワーク(GAT)とGRU(Gated Recurrent Unit)を統合する。 これはそれぞれ0.857と0.922のF1スコアを達成し、最先端の故障検出手法より優れている。
  論文  参考訳（メタデータ） (2023-05-30T12:39:42Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Building an Automated and Self-Aware Anomaly Detection System [0.0]
  異常に対して多種多様かつ常に変化する時系列を積極的に監視することは困難である。 伝統的に、データ生成プロセスとパターンのバリエーションは、異常を正確にフラグするモデルを作成するために、強力なモデリングの専門知識を必要としてきた。 本稿では,手作業による介入を必要とせず,各モデルに必要な変更を加えることで,この共通課題を克服する異常検出システムについて述べる。
  論文  参考訳（メタデータ） (2020-11-10T11:19:07Z)
• Automatic Feasibility Study via Data Quality Analysis for ML: A Case-Study on Label Noise [21.491392581672198]
  我々はSnoopyを紹介し、データサイエンティストと機械学習エンジニアが体系的で理論的に確立された実現可能性研究を行うのを支援することを目的としている。 我々は、基礎となるタスクの既約誤差を推定し、この問題にアプローチする。 エンド・ツー・エンドの実験では、ユーザーがかなりのラベリング時間と金銭的努力を節約できることを示す。
  論文  参考訳（メタデータ） (2020-10-16T14:21:19Z)
• Out-Of-Bag Anomaly Detection [0.9449650062296822]
  データ異常は、実世界のデータセットでユビキタスであり、機械学習(ML)システムに悪影響を及ぼす可能性がある。 本稿では,新しいモデルに基づく異常検出手法を提案し,その手法をアウト・オブ・バグ検出と呼ぶ。 本手法は,家庭評価のケーススタディを通じて,データ前処理のステップとして,MLシステムの精度と信頼性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-20T06:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。