論文の概要: Cluster-Wide Task Slowdown Detection in Cloud System

• arxiv url: http://arxiv.org/abs/2408.04236v1
• Date: Thu, 8 Aug 2024 05:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:29:12.448165
• Title: Cluster-Wide Task Slowdown Detection in Cloud System
• Title（参考訳）: クラウドシステムにおけるクラスタワイドタスクのスローダウン検出
• Authors: Feiyi Chen, Yingying Zhang, Lunting Fan, Yuxuan Liang, Guansong Pang, Qingsong Wen, Shuiguang Deng,
• Abstract要約: スロータスク検出は、クラウドの運用とメンテナンスにおいて重要な問題である。 ほとんどの異常検出方法は単一タスクの側面から検出する。 本稿では,複合周期を再構築するためのスキーの注意機構からなるSORNを提案する。
• 参考スコア（独自算出の注目度）: 45.396508032554564
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Slow task detection is a critical problem in cloud operation and maintenance since it is highly related to user experience and can bring substantial liquidated damages. Most anomaly detection methods detect it from a single-task aspect. However, considering millions of concurrent tasks in large-scale cloud computing clusters, it becomes impractical and inefficient. Moreover, single-task slowdowns are very common and do not necessarily indicate a malfunction of a cluster due to its violent fluctuation nature in a virtual environment. Thus, we shift our attention to cluster-wide task slowdowns by utilizing the duration time distribution of tasks across a cluster, so that the computation complexity is not relevant to the number of tasks. The task duration time distribution often exhibits compound periodicity and local exceptional fluctuations over time. Though transformer-based methods are one of the most powerful methods to capture these time series normal variation patterns, we empirically find and theoretically explain the flaw of the standard attention mechanism in reconstructing subperiods with low amplitude when dealing with compound periodicity. To tackle these challenges, we propose SORN (i.e., Skimming Off subperiods in descending amplitude order and Reconstructing Non-slowing fluctuation), which consists of a Skimming Attention mechanism to reconstruct the compound periodicity and a Neural Optimal Transport module to distinguish cluster-wide slowdowns from other exceptional fluctuations. Furthermore, since anomalies in the training set are inevitable in a practical scenario, we propose a picky loss function, which adaptively assigns higher weights to reliable time slots in the training set. Extensive experiments demonstrate that SORN outperforms state-of-the-art methods on multiple real-world industrial datasets.
• Abstract（参考訳）: スロータスク検出は、ユーザエクスペリエンスに強く関連し、相当な液体化損傷をもたらすため、クラウド運用とメンテナンスにおいて重要な問題である。 ほとんどの異常検出方法は単一タスクの側面から検出する。 しかし、大規模クラウドコンピューティングクラスタにおける数百万の同時タスクを考えると、それは実用的でなく非効率になる。 さらに、シングルタスクのスローダウンは非常に一般的であり、仮想環境における激しいゆらぎの性質のため、必ずしもクラスタの誤動作を示すものではない。 したがって、クラスタ全体のタスクの時間分布を利用して、クラスタ全体のタスクのスローダウンに注意を向け、計算複雑性がタスク数に関連しないようにします。 タスク持続時間分布はしばしば、時間とともに複雑な周期性と局所的な例外的な変動を示す。 変圧器を用いた手法は,これらの時系列正規変動パターンを捕捉する最も強力な手法の1つであるが,複合周期性を扱う場合の低振幅のサブ周期再構成における標準注意機構の欠陥を実験的に発見・理論的に説明する。 これらの課題に対処するために、複合周期を再構築するスキーの注意機構と、他の異常変動とクラスタ全体の減速を区別するニューラル最適輸送モジュールからなるSORN(Simming Off sub periods in descending amplitude order and Reconstructing Non-slowing fluctuation)を提案する。 さらに,トレーニングセット内の異常は現実的なシナリオでは避けられないため,トレーニングセット内の信頼性のある時間スロットにより高い重みを適応的に割り当てるピッキー損失関数を提案する。 大規模な実験により、SORNは複数の実世界の産業データセット上で最先端の手法より優れていることが示された。

関連論文リスト

• Pattern-Based Time-Series Risk Scoring for Anomaly Detection and Alert Filtering -- A Predictive Maintenance Case Study [3.508168174653255]
  本稿では,逐次パターンの類似性に基づいて,異常検出と警告フィルタリングを高速かつ効率的に行う手法を提案する。 本稿では, 大規模産業システムにおける異常検出を含む様々な目的で, このアプローチをどのように活用するかを示す。
  論文  参考訳（メタデータ） (2024-05-24T20:27:45Z)
• Concrete Dense Network for Long-Sequence Time Series Clustering [4.307648859471193]
  時系列クラスタリングは、時間的パターンを発見するためのデータ分析において基本である。 深部時間クラスタリング手法は、ニューラルネットワークのエンドツーエンドトレーニングに標準k平均を組み込もうとしている。 LoSTerは、時系列クラスタリング問題に対する新しい密集型オートエンコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2024-05-08T12:31:35Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Spatio-temporal predictive tasks for abnormal event detection in videos [60.02503434201552]
  オブジェクトレベルの正規化パターンを学習するための制約付きプレテキストタスクを提案する。 我々のアプローチは、ダウンスケールの視覚的クエリとそれに対応する正常な外観と運動特性のマッピングを学習することである。 いくつかのベンチマークデータセットの実験では、異常の局所化と追跡のためのアプローチの有効性が示されている。
  論文  参考訳（メタデータ） (2022-10-27T19:45:12Z)
• Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy [68.86835407617778]
  Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。 Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-10-06T10:33:55Z)
• Federated Variational Learning for Anomaly Detection in Multivariate Time Series [13.328883578980237]
  本稿では,非教師付き時系列異常検出フレームワークを提案する。 我々は,畳み込みGated Recurrent Unit(ConvGRU)モデルに基づいて,共有変分オートエンコーダ(VAE)を学習するために,エッジに分散したトレーニングデータを残しておく。 3つの実世界のネットワークセンサーデータセットの実験は、他の最先端モデルに対する我々のアプローチの利点を示しています。
  論文  参考訳（メタデータ） (2021-08-18T22:23:15Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation [4.9831085918734805]
  データ計算の欠如は長年の研究課題であり、現実世界のインテリジェント交通システムにとって重要な応用である。 テキストの時間変化を新たな正規化項として導入し,低ランク自動回帰テンソル補完(LATC)フレームワークを提案する。 本研究では,複数の実世界の交通データ集合について広範な数値実験を行い,LATCの有効性を実証した。
  論文  参考訳（メタデータ） (2021-04-30T12:00:57Z)
• Granger Causality Based Hierarchical Time Series Clustering for State Estimation [8.384689499720515]
  大量のラベルのないデータを扱う場合、クラスタリングは便利です。 シンボリックな動的フィルタリングとGranger因果関係に基づく階層型時系列クラスタリング手法を提案する。 Granger因果関係に基づく新しい距離メトリックが提案され、時系列クラスタリングに使用され、経験的なデータセットで検証される。
  論文  参考訳（メタデータ） (2021-04-09T06:14:54Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。