論文の概要: KPIs-Based Clustering and Visualization of HPC jobs: a Feature Reduction Approach

• arxiv url: http://arxiv.org/abs/2312.06534v1
• Date: Mon, 11 Dec 2023 17:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 14:57:49.946478
• Title: KPIs-Based Clustering and Visualization of HPC jobs: a Feature Reduction Approach
• Title（参考訳）: KPIによるHPCジョブのクラスタリングと可視化:特徴量削減手法
• Authors: Mohamed Soliman Halawa and Rebeca P. D\'iaz-Redondo and Ana Fern\'andez-Vilas
• Abstract要約: HPCシステムは、安定性を確保するために常に監視される必要がある。 監視システムは、リソース使用量やIO待ち時間など、さまざまなパラメータやキーパフォーマンス指標(KPI)に関する膨大なデータを収集します。 通常時系列として保存されるこのデータの適切な分析は、適切な管理戦略の選択と問題の早期検出に関する洞察を与えることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-Performance Computing (HPC) systems need to be constantly monitored to ensure their stability. The monitoring systems collect a tremendous amount of data about different parameters or Key Performance Indicators (KPIs), such as resource usage, IO waiting time, etc. A proper analysis of this data, usually stored as time series, can provide insight in choosing the right management strategies as well as the early detection of issues. In this paper, we introduce a methodology to cluster HPC jobs according to their KPI indicators. Our approach reduces the inherent high dimensionality of the collected data by applying two techniques to the time series: literature-based and variance-based feature extraction. We also define a procedure to visualize the obtained clusters by combining the two previous approaches and the Principal Component Analysis (PCA). Finally, we have validated our contributions on a real data set to conclude that those KPIs related to CPU usage provide the best cohesion and separation for clustering analysis and the good results of our visualization methodology.
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)システムは、安定性を確保するために常に監視される必要がある。 監視システムは、リソース使用量やIO待ち時間など、さまざまなパラメータやキーパフォーマンス指標(KPI)に関する膨大なデータを収集します。 通常時系列として保存されるこのデータの適切な分析は、適切な管理戦略の選択と問題の早期検出に関する洞察を与えることができる。 本稿では,hpcジョブをkpiインジケータに従ってクラスタ化する手法を提案する。 本手法は,2つの手法を時系列に適用することで,収集データの固有高次元性を低減する。 また,従来の2つの手法と主成分分析(PCA)を組み合わせることで,得られたクラスタを可視化する手法も定義する。 最後に、実際のデータセットへのコントリビューションを検証することで、CPU利用に関連するKPIがクラスタリング分析に最適な凝集度と分離を提供し、視覚化手法の優れた結果をもたらすと結論付けました。

関連論文リスト

• Unsupervised KPIs-Based Clustering of Jobs in HPC Data Centers [0.0]
  キーパフォーマンスインジケータ(KPI)は、CPU使用量、メモリ使用量、ネットワークトラフィック、その他のハードウェアを監視するセンサに関する情報を提供する、膨大な数の監視タスクを生成する。 本論文の主な貢献は、HPCシステムにおいて、各ジョブの振る舞いに応じて、どのメトリック/s(KPI)が、どのタイプのジョブを識別/分類するのに最も適しているかを特定することである。 我々は,ネットワーク(インタフェース)トラフィック監視に関連する指標(KPI)がクラスタHPCジョブの結合と分離に最適であり,階層的クラスタリングアルゴリズムがこのタスクに最も適していると結論づけた。
  論文  参考訳（メタデータ） (2023-12-11T17:31:46Z)
• QBSD: Quartile-Based Seasonality Decomposition for Cost-Effective RAN KPI Forecasting [0.18416014644193066]
  我々は、精度と計算複雑性のトレードオフを最適化するために、QBSDというライブシングルステップ予測手法を紹介した。 QBSDは数千セル以上の実ネットワークRANデータセットで大きな成功を収めています。 その結果,提案手法は主要なアルゴリズムに比べて実行効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T15:59:27Z)
• Towards High-Performance Exploratory Data Analysis (EDA) Via Stable Equilibrium Point [5.825190876052149]
  我々は,EDAの効率とソリューション品質を改善するための安定平衡点(SEP)ベースのフレームワークを導入する。 提案手法の非常にユニークな特性は、SEPがデータセットのクラスタリング特性を直接符号化することである。
  論文  参考訳（メタデータ） (2023-06-07T13:31:57Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
  人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。 本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。 理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-01-31T20:58:47Z)
• Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
  本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。 提案されたSSCAGは最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-04-24T08:09:27Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Correlation-wise Smoothing: Lightweight Knowledge Extraction for HPC Monitoring Data [1.802439717192088]
  本稿では,時系列モニタリングデータから記述的シグネチャを抽出する手法として相関ワイド・スムーシング(CS)を提案する。 提案手法は,データ次元間の相関を利用してグループを形成し,容易に操作し,視覚化し,比較できる画像様のシグネチャを生成する。 我々は,本研究でリリースしたデータセットの集合であるHPC-ODA上でのCS法の評価を行い,ほとんどの最先端手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2020-10-13T05:22:47Z)
• Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting [63.78344280962136]
  本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。 本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
  論文  参考訳（メタデータ） (2020-09-08T12:10:10Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。