論文の概要: Lightweight Automated Feature Monitoring for Data Streams

• arxiv url: http://arxiv.org/abs/2207.08640v2
• Date: Tue, 19 Jul 2022 11:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 11:17:15.136072
• Title: Lightweight Automated Feature Monitoring for Data Streams
• Title（参考訳）: データストリームのための軽量自動機能監視
• Authors: Jo\~ao Conde, Ricardo Moreira, Jo\~ao Torres, Pedro Cardoso, Hugo R.C. Ferreira, Marco O.P. Sampaio, Jo\~ao Tiago Ascens\~ao, Pedro Bizarro
• Abstract要約: そこで本稿では,データドリフトを検出するFM(Feature Monitoring)システムを提案する。 システムは、システムによって使用されるすべての機能を監視し、アラームが発生するたびにランク付けされる解釈可能な機能を提供します。 これは、FMが特定のタイプの問題を検出するためにカスタムシグナルを追加する必要をなくし、利用可能な機能の空間を監視するのに十分であることを示している。
• 参考スコア（独自算出の注目度）: 1.4658400971135652
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Monitoring the behavior of automated real-time stream processing systems has become one of the most relevant problems in real world applications. Such systems have grown in complexity relying heavily on high dimensional input data, and data hungry Machine Learning (ML) algorithms. We propose a flexible system, Feature Monitoring (FM), that detects data drifts in such data sets, with a small and constant memory footprint and a small computational cost in streaming applications. The method is based on a multi-variate statistical test and is data driven by design (full reference distributions are estimated from the data). It monitors all features that are used by the system, while providing an interpretable features ranking whenever an alarm occurs (to aid in root cause analysis). The computational and memory lightness of the system results from the use of Exponential Moving Histograms. In our experimental study, we analyze the system's behavior with its parameters and, more importantly, show examples where it detects problems that are not directly related to a single feature. This illustrates how FM eliminates the need to add custom signals to detect specific types of problems and that monitoring the available space of features is often enough.
• Abstract（参考訳）: リアルタイムストリーム処理自動化システムの動作監視は,実世界のアプリケーションにおいて最も重要な問題の1つとなっている。 このようなシステムは高次元の入力データと機械学習(ML)アルゴリズムに大きく依存して複雑化している。 本稿では,このようなデータセットにおけるデータドリフトを検出し,メモリフットプリントが小さく,ストリーミングアプリケーションの計算コストも小さく,フレキシブルな機能監視システムであるFMを提案する。 この方法は多変量統計テストに基づいており、設計によって駆動されるデータである(全参照分布はデータから推定される)。 システムで使用されるすべての機能を監視し、アラームが発生するたびに解釈可能な機能をランク付けする(根本原因分析を支援する)。 システムの計算と記憶の軽さは指数的に動くヒストグラムを使用することによって生じる。 実験では, システムの挙動をパラメータで解析し, さらに重要な点として, 1つの特徴に直接関連しない問題を検出する例を示す。 これはfmが特定の種類の問題を検出するためにカスタム信号を追加する必要をなくし、利用可能な機能領域の監視が十分であることを示す。

関連論文リスト

• The Causal Chambers: Real Physical Systems as a Testbed for AI Methodology [10.81691411087626]
  AI、機械学習、統計学のいくつかの分野において、新しい方法やアルゴリズムの検証は、適切な実世界のデータセットの不足によって妨げられることが多い。 我々は,非自明だがよく理解された物理的システムから,大規模データセットを迅速かつ安価に生成できる2つのデバイスを構築した。
  論文  参考訳（メタデータ） (2024-04-17T13:00:52Z)
• A Multi-Level, Multi-Scale Visual Analytics Approach to Assessment of Multifidelity HPC Systems [17.246865176910045]
  ハードウェアシステムのイベントと振る舞いは、システムの堅牢性と信頼性を改善するために不可欠である。 本研究では,このような膨大なデータを理解するための総合分析システムの構築を目指す。 このエンド・ツー・エンドのログ分析システムとビジュアル・アナリティクス・サポートが組み合わさって、ユーザーはスーパーコンピュータの使用状況やエラーパターンを素早く抽出できる。
  論文  参考訳（メタデータ） (2023-06-15T19:23:50Z)
• A hybrid feature learning approach based on convolutional kernels for ATM fault prediction using event-log data [5.859431341476405]
  イベントログデータから特徴を抽出するために,畳み込みカーネル(MiniROCKETとHYDRA)に基づく予測モデルを提案する。 提案手法は,実世界の重要な収集データセットに適用される。 このモデルは、ATMのタイムリーなメンテナンスにおいてオペレータをサポートするコンテナベースの意思決定支援システムに統合された。
  論文  参考訳（メタデータ） (2023-05-17T08:55:53Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Heterogeneous Anomaly Detection for Software Systems via Semi-supervised Cross-modal Attention [29.654681594903114]
  ヘテロジニアスデータに基づいてシステム異常を識別する,最初のエンドツーエンドの半教師付きアプローチであるHadesを提案する。 当社のアプローチでは,ログセマンティクスとメトリックパターンを融合させることで,システムステータスのグローバルな表現を学ぶために階層的アーキテクチャを採用している。 我々はHuawei Cloudの大規模シミュレーションデータとデータセットに基づいてHadesを広範囲に評価する。
  論文  参考訳（メタデータ） (2023-02-14T09:02:11Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• A Robust and Explainable Data-Driven Anomaly Detection Approach For Power Electronics [56.86150790999639]
  本稿では,2つの異常検出・分類手法,すなわち行列プロファイルアルゴリズムと異常変換器を提案する。 行列プロファイルアルゴリズムは、ストリーミング時系列データにおけるリアルタイム異常を検出するための一般化可能なアプローチとして適している。 検知器の感度、リコール、検出精度を調整するために、一連のカスタムフィルタが作成され、追加される。
  論文  参考訳（メタデータ） (2022-09-23T06:09:35Z)
• Using sequential drift detection to test the API economy [4.056434158960926]
  APIエコノミーは、API(高度なプログラミングインターフェース)の広範な統合を指す。 使用パターンを監視し、システムがこれまで使用されなかった方法でいつ使用されているかを特定することが望ましい。 この作業では、ヒストグラムとAPI使用のコールグラフの両方を分析し、システムの利用パターンがシフトしたかどうかを判断する。
  論文  参考訳（メタデータ） (2021-11-09T13:24:19Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning [55.32009000204512]
  PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。 具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。 また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
  論文  参考訳（メタデータ） (2020-03-12T03:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。