論文の概要: Enhancing the Analysis of Software Failures in Cloud Computing Systems
with Deep Learning
- arxiv url: http://arxiv.org/abs/2106.15182v1
- Date: Tue, 29 Jun 2021 09:00:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-01 03:50:57.048005
- Title: Enhancing the Analysis of Software Failures in Cloud Computing Systems
with Deep Learning
- Title（参考訳）: ディープラーニングによるクラウドコンピューティングシステムにおけるソフトウェア障害解析の強化
- Authors: Domenico Cotroneo, Luigi De Simone, Pietro Liguori, Roberto Natella
- Abstract要約: 本稿では,人手による特徴工学の微調整を緩和するため,クラウドシステムからの故障データを解析するための新しい手法を提案する。
このアプローチでは、ディープラーニングに基づく教師なしクラスタリングアルゴリズムのファミリであるDeep Embedded Clustering(DEC)を活用する。
その結果、クラスタの純度の観点からは、提案手法の性能は手作業による微調整クラスタリングと同等か、場合によっては同等であることがわかった。
- 参考スコア（独自算出の注目度）: 0.11470070927586014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying the failure modes of cloud computing systems is a difficult and
time-consuming task, due to the growing complexity of such systems, and the
large volume and noisiness of failure data. This paper presents a novel
approach for analyzing failure data from cloud systems, in order to relieve
human analysts from manually fine-tuning the data for feature engineering. The
approach leverages Deep Embedded Clustering (DEC), a family of unsupervised
clustering algorithms based on deep learning, which uses an autoencoder to
optimize data dimensionality and inter-cluster variance. We applied the
approach in the context of the OpenStack cloud computing platform, both on the
raw failure data and in combination with an anomaly detection pre-processing
algorithm. The results show that the performance of the proposed approach, in
terms of purity of clusters, is comparable to, or in some cases even better
than manually fine-tuned clustering, thus avoiding the need for deep domain
knowledge and reducing the effort to perform the analysis. In all cases, the
proposed approach provides better performance than unsupervised clustering when
no feature engineering is applied to the data. Moreover, the distribution of
failure modes from the proposed approach is closer to the actual frequency of
the failure modes.
- Abstract（参考訳）: クラウドコンピューティングシステムの障害モードの特定は、そのようなシステムの複雑さが増大し、障害データの量とノイズが大きくなるため、難しくて時間を要する作業である。
本稿では,人手による特徴工学の微調整を緩和するため,クラウドシステムからの故障データを解析するための新しい手法を提案する。
このアプローチでは、ディープラーニングに基づく教師なしクラスタリングアルゴリズムのファミリーであるdeep embedded clustering(dec)を活用して、データ次元とクラスタ間分散を最適化するオートエンコーダを使用する。
私たちはこのアプローチを,生の障害データと異常検出前処理アルゴリズムを組み合わせた,openstackクラウドコンピューティングプラットフォームのコンテキストに適用しました。
その結果,提案手法の性能は,クラスタの純粋性という面では,手作業で調整したクラスタリングと同等か,あるいはさらに優れている場合もあり,深いドメイン知識の必要性を回避し,分析を行う労力を削減できることがわかった。
いずれの場合も、データに機能工学を適用しない場合、提案手法は教師なしクラスタリングよりも優れたパフォーマンスを提供する。
さらに,提案手法による障害モードの分布は,実際の障害モードの周波数に近い。
関連論文リスト
- Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - A Deep Dive into Deep Cluster [0.2578242050187029]
DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。
本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
論文 参考訳（メタデータ） (2022-07-24T22:55:09Z) - KnAC: an approach for enhancing cluster analysis with background
knowledge and explanations [0.20999222360659603]
我々はKnAC(Knowledge Augmented Clustering)を紹介します。
KnACは任意のクラスタリングアルゴリズムの拡張として機能し、アプローチを堅牢でモデルに依存しないものにすることができる。
論文 参考訳（メタデータ） (2021-12-16T10:13:47Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳（メタデータ） (2021-04-13T08:23:46Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。
このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
論文 参考訳（メタデータ） (2020-11-19T11:06:54Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳（メタデータ） (2020-09-09T18:19:31Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - EXPLAIN-IT: Towards Explainable AI for Unsupervised Network Traffic
Analysis [7.447122949368314]
ラベルのないデータを扱う手法であるEXPLAIN-ITを導入し、意味のあるクラスタを作成し、エンドユーザのクラスタリング結果の説明を提案する。
暗号化されたトラフィックシナリオ下でのYouTubeビデオ品質分類の問題に対してEXPLAIN-ITを適用し,有望な結果を示す。
論文 参考訳（メタデータ） (2020-03-03T17:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。