論文の概要: Intelligent Monitoring Framework for Cloud Services: A Data-Driven Approach
- arxiv url: http://arxiv.org/abs/2403.07927v1
- Date: Thu, 29 Feb 2024 19:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 05:50:41.738701
- Title: Intelligent Monitoring Framework for Cloud Services: A Data-Driven Approach
- Title（参考訳）: クラウドサービスのためのインテリジェントモニタリングフレームワーク: データ駆動アプローチ
- Authors: Pooja Srinivas, Fiza Husain, Anjaly Parayil, Ayush Choure, Chetan Bansal, Saravan Rajmohan,
- Abstract要約: 監視のギャップは、インシデント検出の遅延と、顧客の重大なネガティブな影響につながる可能性がある。
開発者は部族的知識と、主に試行錯誤に基づくプロセスを使ってモニターを作成する。
サービスプロパティに基づいたクラウドサービスの監視を推奨するインテリジェントな監視フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.862212993027658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cloud service owners need to continuously monitor their services to ensure high availability and reliability. Gaps in monitoring can lead to delay in incident detection and significant negative customer impact. Current process of monitor creation is ad-hoc and reactive in nature. Developers create monitors using their tribal knowledge and, primarily, a trial and error based process. As a result, monitors often have incomplete coverage which leads to production issues, or, redundancy which results in noise and wasted effort. In this work, we address this issue by proposing an intelligent monitoring framework that recommends monitors for cloud services based on their service properties. We start by mining the attributes of 30,000+ monitors from 791 production services at Microsoft and derive a structured ontology for monitors. We focus on two crucial dimensions: what to monitor (resources) and which metrics to monitor. We conduct an extensive empirical study and derive key insights on the major classes of monitors employed by cloud services at Microsoft, their associated dimensions, and the interrelationship between service properties and this ontology. Using these insights, we propose a deep learning based framework that recommends monitors based on the service properties. Finally, we conduct a user study with engineers from Microsoft which demonstrates the usefulness of the proposed framework. The proposed framework along with the ontology driven projections, succeeded in creating production quality recommendations for majority of resource classes. This was also validated by the users from the study who rated the framework's usefulness as 4.27 out of 5.
- Abstract（参考訳）: クラウドサービスのオーナは、高可用性と信頼性を確保するために、サービスを継続的に監視する必要がある。
監視のギャップは、インシデント検出の遅延と、顧客の重大なネガティブな影響につながる可能性がある。
モニター作成の現在のプロセスはアドホックで、自然界で反応する。
開発者は、部族的知識と、主にトライアルとエラーベースのプロセスを使ってモニターを作成する。
その結果、モニターには、生産上の問題につながる不完全なカバレッジや、ノイズや無駄な労力をもたらす冗長性があることが多い。
本稿では、サービスプロパティに基づいたクラウドサービスの監視を推奨するインテリジェントな監視フレームワークを提案することにより、この問題に対処する。
まず、Microsoftの741のプロダクションサービスから30,000以上のモニタの属性をマイニングし、モニタのための構造化オントロジーを導出します。
監視対象(リソース)と監視対象(メトリクス)の2つの重要な側面に注目します。
我々は、Microsoftのクラウドサービスが採用するモニタの主要なクラス、関連するディメンション、およびサービス特性とオントロジーの相互関係について、広範な実証的研究を行い、重要な洞察を導き出す。
これらの知見を用いて、サービス特性に基づいたモニタを推奨するディープラーニングベースのフレームワークを提案する。
最後に、提案フレームワークの有用性を実証するため、Microsoftのエンジニアとユーザスタディを実施している。
提案されたフレームワークは、オントロジー駆動のプロジェクションとともに、ほとんどのリソースクラスに対して生産品質のレコメンデーションを作成することに成功した。
これはまた、このフレームワークの有用性を5.27と評価した研究のユーザによって検証された。
関連論文リスト
- A Decentralized and Self-Adaptive Approach for Monitoring Volatile Edge Environments [40.96858640950632]
エッジのための分散自己適応監視システムであるDEMonを提案する。
提案システムは軽量でポータブルなコンテナベースシステムとして実装し,実験を通じて評価する。
その結果, エッジモニタリングの課題に対処するため, DEMonは効率的にモニタリング情報を拡散し, 回収することがわかった。
論文 参考訳（メタデータ） (2024-05-13T14:47:34Z) - Monitoring Auditable Claims in the Cloud [0.0]
本稿では,観測システムの実装に依存しないフレキシブルなモニタリング手法を提案する。
提案手法は,分散データログベースのプログラムと,Trillianをベースとしたタンパー保護ストレージを組み合わせたものである。
我々は、無人航空機の編成にクラウドインフラを使用する産業ユースケースに適用する。
論文 参考訳（メタデータ） (2023-12-19T11:21:18Z) - Optimal Event Monitoring through Internet Mashup over Multivariate Time
Series [77.34726150561087]
このフレームワークは、モデル定義、クエリ、パラメータ学習、モデル評価、データ監視、決定レコメンデーション、Webポータルのサービスをサポートする。
さらに、MTSAデータモデルとクエリ言語を拡張して、学習、監視、レコメンデーションのサービスにおいて、この種の問題をサポートする。
論文 参考訳（メタデータ） (2022-10-18T16:56:17Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳（メタデータ） (2021-11-02T15:16:08Z) - Benchmarking Safety Monitors for Image Classifiers with Machine Learning [0.0]
高精度機械学習(ML)画像分類器は、動作時に失敗しないことを保証できない。
安全モニタなどのフォールトトレランス機構の使用は,システムを安全な状態に保つ上で有望な方向である。
本稿では,ML画像分類器のベンチマークを行うためのベースラインフレームワークを確立することを目的とする。
論文 参考訳（メタデータ） (2021-10-04T07:52:23Z) - Scalable Perception-Action-Communication Loops with Convolutional and
Graph Neural Networks [208.15591625749272]
視覚に基づくグラフアグリゲーション・アンド・推論(VGAI)を用いた知覚-行動-コミュニケーションループの設計を提案する。
我々のフレームワークは、畳み込みとグラフニューラルネットワーク(CNN/GNN)のカスケードによって実装され、エージェントレベルの視覚知覚と特徴学習に対処する。
我々は、VGAIが他の分散コントローラに匹敵する性能を得ることを示した。
論文 参考訳（メタデータ） (2021-06-24T23:57:21Z) - Customizable Reference Runtime Monitoring of Neural Networks using
Resolution Boxes [0.0]
データ抽象化による分類システムのモニタリング手法を提案する。
ボックスベースの抽象化は、各次元の最小値と最大値で値の集合を表す。
ボックスを解像度の概念で拡張し、クラスタリングカバレッジを定義します。これは直感的に抽象化品質を示す定量的指標です。
論文 参考訳（メタデータ） (2021-04-25T21:58:02Z) - Information Obfuscation of Graph Neural Networks [96.8421624921384]
本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。
本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-28T17:55:04Z) - Monitoring and explainability of models in production [58.720142291102135]
デプロイされたモデルを監視することは、高品質の機械学習対応サービスの継続的なプロビジョニングに不可欠である。
これらの領域でソリューションの実装を成功させる上での課題を,オープンソースツールを使用した本番環境対応ソリューションの最近の例で論じる。
論文 参考訳（メタデータ） (2020-07-13T10:37:05Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳（メタデータ） (2020-03-30T15:12:03Z) - Collaborative Inference for Efficient Remote Monitoring [34.27630312942825]
これをモデルレベルで解決するための簡単なアプローチは、より単純なアーキテクチャを使用することです。
本稿では,局所的なモニタリングツールとして機能する単純な関数の和として,予測モデルを分解した代替手法を提案する。
ローカル監視機能が安全であることを保証するために、後者にサイン要求が課される。
論文 参考訳（メタデータ） (2020-02-12T01:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。