論文の概要: LO2: Microservice API Anomaly Dataset of Logs and Metrics
- arxiv url: http://arxiv.org/abs/2504.12067v1
- Date: Wed, 16 Apr 2025 13:21:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 14:39:57.241943
- Title: LO2: Microservice API Anomaly Dataset of Logs and Metrics
- Title（参考訳）: LO2: ログとメトリックの異常データセットのマイクロサービスAPI
- Authors: Alexander Bakhtin, Jesse Nyyssölä, Yuqing Wang, Noman Ahmad, Ke Ping, Matteo Esposito, Mika Mäntylä, Davide Taibi,
- Abstract要約: このデータセットは、マイクロサービスシステムの異常検出とアーキテクチャ劣化の研究を支援する。
プロダクションマイクロサービスシステムからログ、メトリクス、トレースの包括的なデータセットを生成します。
- 参考スコア（独自算出の注目度）: 42.61470118436856
- License:
- Abstract: Context. Microservice-based systems have gained significant attention over the past years. A critical factor for understanding and analyzing the behavior of these systems is the collection of monitoring data such as logs, metrics, and traces. These data modalities can be used for anomaly detection and root cause analysis of failures. In particular, multi-modal methods utilizing several types of this data at once have gained traction in the research community since these three modalities capture different dimensions of system behavior. Aim. We provide a dataset that supports research on anomaly detection and architectural degradation in microservice systems. We generate a comprehensive dataset of logs, metrics, and traces from a production microservice system to enable the exploration of multi-modal fusion methods that integrate multiple data modalities. Method. We dynamically tested the various APIs of the MS-based system, implementing the OAuth2.0 protocol using the Locust tool. For each execution of the prepared test suite, we collect logs and performance metrics for correct and erroneous calls with data labeled according to the error triggered during the call. Contributions. We collected approximately 657,000 individual log files, totaling over two billion log lines. In addition, we collected more than 45 million individual metric files that contain 485 unique metrics. We provide an initial analysis of logs, identify key metrics through PCA, and discuss challenges in collecting traces for this system. Moreover, we highlight the possibilities for making a more fine-grained version of the data set. This work advances anomaly detection in microservice systems using multiple data sources.
- Abstract（参考訳）: コンテキスト。
マイクロサービスベースのシステムは、ここ数年で大きな注目を集めています。
これらのシステムの振る舞いを理解し分析するための重要な要素は、ログ、メトリクス、トレースなどのモニタリングデータの収集である。
これらのデータモダリティは異常検出や障害の根本原因分析に使用できる。
特に,複数種類のデータを利用したマルチモーダル手法は,これら3つのモーダルがシステム行動の異なる次元を捉えているため,研究コミュニティの注目を集めている。
エイム。
マイクロサービスシステムにおける異常検出とアーキテクチャ劣化の研究を支援するデータセットを提供する。
プロダクションマイクロサービスシステムからログ、メトリクス、トレースの包括的なデータセットを生成して、複数のデータモダリティを統合するマルチモーダルフュージョンメソッドの探索を可能にします。
方法。
我々は、Locustツールを使用してOAuth2.0プロトコルを実装し、MSベースの様々なAPIを動的にテストした。
準備されたテストスイートの実行毎に、呼び出し中にトリガされたエラーに応じてラベル付けされたデータに対して、正しく誤った呼び出しを行うためのログとパフォーマンスメトリクスを収集します。
貢献。
約657,000の個々のログファイルを収集し、合計20億のログ行を収集しました。
さらに、485のユニークなメトリックを含む4500万以上の個別のメトリックファイルを収集しました。
我々は,ログの初期解析を行い,PCAを通じて重要な指標を特定し,このシステムのトレース収集における課題について議論する。
さらに、データセットのよりきめ細かいバージョンを作る可能性を強調します。
この研究は、複数のデータソースを使用したマイクロサービスシステムにおける異常検出を前進させる。
関連論文リスト
- CHASE: A Causal Heterogeneous Graph based Framework for Root Cause Analysis in Multimodal Microservice Systems [22.00860661894853]
マルチモーダルデータを持つマイクロサービスシステムにおける根本原因解析,すなわちCHASEのための因数不均一なgraAph baSed framEworkを提案する。
CHASEは、因果関係の流れを表すハイパーエッジを持つ構築されたハイパーグラフから学習し、根本原因の局在を実行する。
論文 参考訳（メタデータ） (2024-06-28T07:46:51Z) - GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。
システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
論文 参考訳（メタデータ） (2023-09-12T04:21:30Z) - Robust Multimodal Failure Detection for Microservice Systems [32.25907616511765]
AnoFusionは、マイクロサービスシステムに対する教師なしの障害検出アプローチである。
異種マルチモーダルデータの相関を学習し、グラフ注意ネットワーク(GAT)とGRU(Gated Recurrent Unit)を統合する。
これはそれぞれ0.857と0.922のF1スコアを達成し、最先端の故障検出手法より優れている。
論文 参考訳（メタデータ） (2023-05-30T12:39:42Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳（メタデータ） (2023-04-21T02:20:24Z) - Robust Failure Diagnosis of Microservice System through Multimodal Data [14.720995687799668]
マルチモーダルデータを用いた堅牢な故障診断手法であるDagFusionを提案する。
評価の結果,DagFusion はルート原因インスタンスの局所化や障害タイプ決定の点で既存手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-02-21T08:28:28Z) - Heterogeneous Anomaly Detection for Software Systems via Semi-supervised
Cross-modal Attention [29.654681594903114]
ヘテロジニアスデータに基づいてシステム異常を識別する,最初のエンドツーエンドの半教師付きアプローチであるHadesを提案する。
当社のアプローチでは,ログセマンティクスとメトリックパターンを融合させることで,システムステータスのグローバルな表現を学ぶために階層的アーキテクチャを採用している。
我々はHuawei Cloudの大規模シミュレーションデータとデータセットに基づいてHadesを広範囲に評価する。
論文 参考訳（メタデータ） (2023-02-14T09:02:11Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2023-01-25T16:34:43Z) - Lightweight Automated Feature Monitoring for Data Streams [1.4658400971135652]
そこで本稿では,データドリフトを検出するFM(Feature Monitoring)システムを提案する。
システムは、システムによって使用されるすべての機能を監視し、アラームが発生するたびにランク付けされる解釈可能な機能を提供します。
これは、FMが特定のタイプの問題を検出するためにカスタムシグナルを追加する必要をなくし、利用可能な機能の空間を監視するのに十分であることを示している。
論文 参考訳（メタデータ） (2022-07-18T14:38:11Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳（メタデータ） (2021-11-02T15:16:08Z) - PyODDS: An End-to-end Outlier Detection System with Automated Machine
Learning [55.32009000204512]
PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。
具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。
また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
論文 参考訳（メタデータ） (2020-03-12T03:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。