論文の概要: Prism: Revealing Hidden Functional Clusters from Massive Instances in Cloud Systems

• arxiv url: http://arxiv.org/abs/2308.07638v1
• Date: Tue, 15 Aug 2023 08:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 14:22:43.126465
• Title: Prism: Revealing Hidden Functional Clusters from Massive Instances in Cloud Systems
• Title（参考訳）: Prism: 分散システムの大規模インスタンスから隠れた機能クラスタを発見
• Authors: Jinyang Liu, Zhihan Jiang, Jiazhen Gu, Junjie Huang, Zhuangbin Chen, Cong Feng, Zengyin Yang, Yongqiang Yang and Michael R. Lyu
• Abstract要約: 我々は,類似の機能を持つインスタンス群という,インスタンスの機能的クラスタを推論することを提案する。 我々はまず、大規模なクラウドシステムであるHuawei Cloudのパイロット研究を行い、同様の機能を持つインスタンスが、同様のコミュニケーションとリソース使用パターンを共有していることを実証した。 これらの結果から,クラスタリング問題としての関数クラスタの同定を定式化し,Prismと呼ばれる非侵入的解を提案する。
• 参考スコア（独自算出の注目度）: 32.18320298895805
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ensuring the reliability of cloud systems is critical for both cloud vendors and customers. Cloud systems often rely on virtualization techniques to create instances of hardware resources, such as virtual machines. However, virtualization hinders the observability of cloud systems, making it challenging to diagnose platform-level issues. To improve system observability, we propose to infer functional clusters of instances, i.e., groups of instances having similar functionalities. We first conduct a pilot study on a large-scale cloud system, i.e., Huawei Cloud, demonstrating that instances having similar functionalities share similar communication and resource usage patterns. Motivated by these findings, we formulate the identification of functional clusters as a clustering problem and propose a non-intrusive solution called Prism. Prism adopts a coarse-to-fine clustering strategy. It first partitions instances into coarse-grained chunks based on communication patterns. Within each chunk, Prism further groups instances with similar resource usage patterns to produce fine-grained functional clusters. Such a design reduces noises in the data and allows Prism to process massive instances efficiently. We evaluate Prism on two datasets collected from the real-world production environment of Huawei Cloud. Our experiments show that Prism achieves a v-measure of ~0.95, surpassing existing state-of-the-art solutions. Additionally, we illustrate the integration of Prism within monitoring systems for enhanced cloud reliability through two real-world use cases.
• Abstract（参考訳）: クラウドシステムの信頼性を確保することは、クラウドベンダーと顧客の両方にとって重要です。 クラウドシステムは、仮想マシンのようなハードウェアリソースのインスタンスを作成するために仮想化技術に依存することが多い。 しかし、仮想化は、クラウドシステムの可観測性を妨げるため、プラットフォームレベルの問題の診断が難しくなる。 システムオブザーバビリティを改善するため,同じような機能を持つインスタンス群をインスタンスの関数クラスタとして推定する手法を提案する。 まず,大規模クラウドシステム,すなわちhuawei cloudに関するパイロット研究を行い,同様の機能を持つインスタンスが類似した通信とリソース使用パターンを共有していることの実証を行った。 これらの結果から,クラスタリング問題としての関数クラスタの同定を定式化し,Prismと呼ばれる非侵入的解を提案する。 Prismは粗いクラスタリング戦略を採用している。 通信パターンに基づいて、まずインスタンスを粗い粒度に分割する。 各チャンク内でPrismはさらに、類似のリソース使用パターンを持つインスタンスをグループ化し、きめ細かい機能クラスタを生成する。 このような設計はデータのノイズを低減し、Prismが大量のインスタンスを効率的に処理できるようにする。 我々はHuawei Cloudの実環境から収集した2つのデータセットについてPrismを評価する。 実験の結果,Prism は 0.95 の v 測度を達成し,既存の最先端解を超えることがわかった。 さらに,モニタリングシステムにおけるprismの統合により,実世界の2つのユースケースを通じてクラウドの信頼性が向上することを示す。

関連論文リスト

• Point Cloud Compression with Implicit Neural Representations: A Unified Framework [54.119415852585306]
  我々は幾何学と属性の両方を扱える先駆的なクラウド圧縮フレームワークを提案する。 本フレームワークでは,2つの座標ベースニューラルネットワークを用いて,voxelized point cloudを暗黙的に表現する。 本手法は,既存の学習手法と比較して,高い普遍性を示す。
  論文  参考訳（メタデータ） (2024-05-19T09:19:40Z)
• Alioth: A Machine Learning Based Interference-Aware Performance Monitor for Multi-Tenancy Applications in Public Cloud [15.942285615596566]
  パブリッククラウドにおけるマルチテナントは、共有リソースのコロケーション干渉を引き起こす可能性がある。 クラウドアプリケーションの性能劣化をモニタリングする新しい機械学習フレームワークAliothを提案する。 Aliothの平均絶対誤差は5.29%のオフライン、10.8%である。
  論文  参考訳（メタデータ） (2023-07-18T03:34:33Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• Reproducible and Portable Big Data Analytics in the Cloud [4.948702463455218]
  クラウドでビッグデータアプリケーションを再現する上で,大きな課題は2つあります。 ひとつは、クラウドにおけるビッグデータ分析のエンドツーエンド実行を自動化する方法だ。 2つ目は、AWSやAzureなど、ひとつのクラウド用に開発されたアプリケーションで、別のクラウドで再現することは困難である。
  論文  参考訳（メタデータ） (2021-12-17T20:52:03Z)
• Smoothed Multi-View Subspace Clustering [14.77544837600836]
  本研究では,スムーズなマルチビューサブスペースクラスタリング(SMVSC)という新しいマルチビュークラスタリング手法を提案する。 グラフフィルタリングという新しい手法を用いて、各ビューのスムーズな表現を得る。 ベンチマークデータセットの実験は、我々のアプローチの優位性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T02:24:19Z)
• A Deep Learning Object Detection Method for an Efficient Clusters Initialization [6.365889364810239]
  クラスタリングは、銀行顧客のプロファイリング、文書検索、画像セグメンテーション、Eコマースレコメンデーションエンジンなど、多くのアプリケーションで使用されている。 既存のクラスタリング技術には、初期化パラメータに対する安定性の信頼性という大きな制限がある。 本稿では,計算オーバーヘッドとリソースオーバーヘッドの少ない最適クラスタリングパラメータを提供するソリューションを提案する。
  論文  参考訳（メタデータ） (2021-04-28T08:34:25Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)
• ClusterVO: Clustering Moving Instances and Estimating Visual Odometry for Self and Surroundings [54.33327082243022]
  ClusterVOはステレオビジュアルオドメトリーで、エゴと周囲の固いクラスタ/オブジェクトの両方の動きを同時にクラスタし、推定する。 以前のソリューションでは、バッチ入力やシーン構造や動的オブジェクトモデルへの事前の指示に頼っていたが、ClusterVOは一般的にオンラインであり、屋内のシーン理解や自律運転など、さまざまなシナリオで使用することができる。
  論文  参考訳（メタデータ） (2020-03-29T09:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。