論文の概要: Correlation-wise Smoothing: Lightweight Knowledge Extraction for HPC Monitoring Data

• arxiv url: http://arxiv.org/abs/2010.06186v2
• Date: Fri, 19 Feb 2021 07:08:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 00:59:14.324253
• Title: Correlation-wise Smoothing: Lightweight Knowledge Extraction for HPC Monitoring Data
• Title（参考訳）: correlation-wise smoothing: hpcモニタリングデータのための軽量知識抽出
• Authors: Alessio Netti, Daniele Tafani, Michael Ott and Martin Schulz
• Abstract要約: 本稿では,時系列モニタリングデータから記述的シグネチャを抽出する手法として相関ワイド・スムーシング(CS)を提案する。 提案手法は,データ次元間の相関を利用してグループを形成し,容易に操作し,視覚化し,比較できる画像様のシグネチャを生成する。 我々は,本研究でリリースしたデータセットの集合であるHPC-ODA上でのCS法の評価を行い,ほとんどの最先端手法と同等の性能を示す。
• 参考スコア（独自算出の注目度）: 1.802439717192088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern High-Performance Computing (HPC) and data center operators rely more and more on data analytics techniques to improve the efficiency and reliability of their operations. They employ models that ingest time-series monitoring sensor data and transform it into actionable knowledge for system tuning: a process known as Operational Data Analytics (ODA). However, monitoring data has a high dimensionality, is hardware-dependent and difficult to interpret. This, coupled with the strict requirements of ODA, makes most traditional data mining methods impractical and in turn renders this type of data cumbersome to process. Most current ODA solutions use ad-hoc processing methods that are not generic, are sensible to the sensors' features and are not fit for visualization. In this paper we propose a novel method, called Correlation-wise Smoothing (CS), to extract descriptive signatures from time-series monitoring data in a generic and lightweight way. Our CS method exploits correlations between data dimensions to form groups and produces image-like signatures that can be easily manipulated, visualized and compared. We evaluate the CS method on HPC-ODA, a collection of datasets that we release with this work, and show that it leads to the same performance as most state-of-the-art methods while producing signatures that are up to ten times smaller and up to ten times faster, while gaining visualizability, portability across systems and clear scaling properties.
• Abstract（参考訳）: 現代のハイパフォーマンスコンピューティング(HPC)とデータセンターオペレータは、オペレーションの効率と信頼性を改善するために、データ分析技術にますます依存している。 彼らは、時系列モニタリングセンサーデータを取り込み、それをシステムチューニングのための実行可能な知識に変換するモデル(Operational Data Analytics (ODA)と呼ばれるプロセス)を採用している。 しかし、モニタリングデータは高い次元を持ち、ハードウェアに依存しており、解釈が難しい。 これは、Odaの厳格な要件と相まって、従来のデータマイニングメソッドを非現実的にし、このタイプのデータを処理しにくくする。 現在のODAソリューションのほとんどは、汎用的ではなく、センサーの特徴に敏感で、視覚化に適さないアドホックな処理方法を使用している。 本稿では,時系列監視データから記述的シグネチャを汎用的かつ軽量に抽出する,相関的平滑化(correlation-wise smoothing, cs)と呼ばれる新しい手法を提案する。 cs法は,データ次元間の相関を利用してグループを形成し,操作,可視化,比較が容易な画像様シグネチャを生成する。 我々は,本研究でリリースしたデータセットの集合であるHPC-ODA上でCS法を評価し,従来の手法と同等の性能を示しながら,最大10倍,最大10倍の高速なシグネチャを生成するとともに,可視性,システム間のポータビリティ,明確なスケーリング特性を実現する。

関連論文リスト

• KPIs-Based Clustering and Visualization of HPC jobs: a Feature Reduction Approach [0.0]
  HPCシステムは、安定性を確保するために常に監視される必要がある。 監視システムは、リソース使用量やIO待ち時間など、さまざまなパラメータやキーパフォーマンス指標(KPI)に関する膨大なデータを収集します。 通常時系列として保存されるこのデータの適切な分析は、適切な管理戦略の選択と問題の早期検出に関する洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-12-11T17:13:54Z)
• ALMERIA: Boosting pairwise molecular contrasts with scalable methods [0.0]
  ALMERIAは、一対の分子コントラストに基づく化合物の類似性と活性予測を推定するためのツールである。 大量のデータを利用するスケーラブルなソフトウェアと手法を使って実装されている。 分子活性予測の最先端性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-04-28T16:27:06Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• GAN-Supervised Dense Visual Alignment [95.37027391102684]
  本稿では,識別モデル学習のためのフレームワークであるGAN-Supervised Learningと,GAN生成した学習データをエンドツーエンドで共同で学習する手法を提案する。 従来のCongealing法にインスパイアされた我々のGANgealingアルゴリズムは、Spatial Transformerを訓練し、不整合データに基づいて訓練されたGANのランダムなサンプルを共通の目標モードにマッピングする。
  論文  参考訳（メタデータ） (2021-12-09T18:59:58Z)
• Data Fusion with Latent Map Gaussian Processes [0.0]
  多要素モデリングとキャリブレーションは、エンジニアリング設計においてユビキタスに発生するデータ融合タスクである。 本稿では,遅延マップガウス過程(LMGP)に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-04T00:54:19Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Online Descriptor Enhancement via Self-Labelling Triplets for Visual Data Association [28.03285334702022]
  オブジェクトレベルの視覚データアソシエーションのタスクにおいて,視覚記述子を漸進的に精製する自己教師型手法を提案する。 本手法は,ドメインに依存しないデータで事前学習した画像分類ネットワークを継続的にトレーニングすることにより,オンラインのディープディスクリプタジェネレータを最適化する。 提案手法はトラッキング・バイ・ディテクト・タスクに適用された他の視覚的データ・アソシエーション手法を超越し,観測情報に適応しようとする他の手法と比較して,優れた性能向上を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-06T17:42:04Z)
• Supervised Visualization for Data Exploration [9.742277703732187]
  本稿では,無作為な森林確率と拡散に基づく次元減少に基づく新しい可視化手法について述べる。 我々のアプローチはノイズやパラメータのチューニングに頑健であり、データ探索のための信頼性の高い可視化を作成しながら、簡単に使用できる。
  論文  参考訳（メタデータ） (2020-06-15T19:10:17Z)
• NCVis: Noise Contrastive Approach for Scalable Visualization [79.44177623781043]
  NCVisはノイズコントラスト推定の音響統計的基礎の上に構築された高性能次元減少法である。 NCVisは,他の手法の表現品質を保ちながら,速度の観点から最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-30T15:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。