論文の概要: Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre

• arxiv url: http://arxiv.org/abs/2106.02612v1
• Date: Thu, 13 May 2021 10:21:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 13:56:37.440950
• Title: Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre
• Title（参考訳）: infn-cnafコンピューティングセンターのelastic(elk)スイートによるシステムログとプロトティpalアナリティクスサービスの収集と調和
• Authors: Tommaso Diotalevi, Antonio Falabella, Barbara Martelli, Diego Michelotto, Lucia Morganti, Daniele Bonacorsi, Luca Giommi, Simone Rossi Tisbeni
• Abstract要約: ジュネーブのLHC(Large Hadron Collider)における高エネルギー物理実験のための分散グリッドインフラストラクチャは、世界中のコンピュータセンターで構成されている。 イタリアでは、Tier-1機能はINFN-CNAFデータセンターによって提供され、20以上の非LHC実験にコンピューティングとストレージリソースを提供する。 CNAFデータソースからログ情報を収集、解析、表示するシステムの動作実装を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The distributed Grid infrastructure for High Energy Physics experiments at the Large Hadron Collider (LHC) in Geneva comprises a set of computing centres, spread all over the world, as part of the Worldwide LHC Computing Grid (WLCG). In Italy, the Tier-1 functionalities are served by the INFN-CNAF data center, which provides also computing and storage resources to more than twenty non-LHC experiments. For this reason, a high amount of logs are collected each day from various sources, which are highly heterogeneous and difficult to harmonize. In this contribution, a working implementation of a system that collects, parses and displays the log information from CNAF data sources and the investigation of a Machine Learning based predictive maintenance system, is presented.
• Abstract（参考訳）: ジュネーブのLHC(Large Hadron Collider)における高エネルギー物理実験のための分散グリッドインフラストラクチャは、世界規模のLHCコンピューティンググリッド(WLCG)の一部として、世界中に広がる一連のコンピューティングセンターで構成されている。 イタリアでは、Tier-1機能はINFN-CNAFデータセンターによって提供され、20以上の非LHC実験にコンピューティングとストレージリソースを提供する。 そのため、多種多様な情報源から毎日大量のログが収集され、非常に異質で調和が難しい。 本報告では、CNAFデータソースからログ情報を収集、解析、表示するシステムの動作実装と、機械学習に基づく予測保守システムの調査について述べる。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• A study of the impact of generative AI-based data augmentation on software metadata classification [1.1356542363919058]
  我々は、コメントとその対応するコードについて、ニューラルネットワークによる文脈表現を用いて機械学習モデルをトレーニングし、コード・コメンデーション・ペアの有用性を予測する。 公式評価では, ベースラインからF1スコアが4%増加し, 生成データの品質が向上した。
  論文  参考訳（メタデータ） (2023-10-14T10:47:10Z)
• Linking the Dynamic PicoProbe Analytical Electron-Optical Beam Line / Microscope to Supercomputers [39.52789559084336]
  Argonne National Laboratory(アルゴンヌ国立研究所)のDynamic PicoProbe(ダイナミック・ピコプローブ)は、1日に最大100GBのデータを生成できるアップグレードを行っている。 このデータは、基本的な科学と産業の両方のアプリケーションにとって非常に重要であるが、現在、これらの高ボリュームのデータストリームを扱うためのオンサイトインフラストラクチャは限られている。 本稿では,隣接するArgonne Leadership Computing Facilityにおいて,近隣のスーパーコンピュータへの大規模データ転送を支援するソフトウェアアーキテクチャを提供することにより,この問題に対処する。 このインフラストラクチャは、期待されるワークロードをサポートし、ドメインサイエンティストに過去の実験からデータを再インターロゲートして、さらなる科学的価値をもたらし、新たな洞察を導き出す機能を提供する。
  論文  参考訳（メタデータ） (2023-08-25T23:07:58Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• An IoT Cloud and Big Data Architecture for the Maintenance of Home Appliances [0.0722732388409495]
  この作業は分散型でスケーラブルなプラットフォームアーキテクチャを導入し、効率的なビッグデータ収集と分析のためにデプロイすることができる。 提案システムは,家電製品の予測保守のためのケーススタディで検証された。 実験結果から,提案システムは実世界のIoTシナリオに費用対効果と局所的なアプローチで対処する上で有用であることが示された。
  論文  参考訳（メタデータ） (2022-10-25T13:25:00Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Weighted Ensembles for Active Learning with Adaptivity [60.84896785303314]
  本稿では,ラベル付きデータに漸進的に適応した重み付きGPモデルのアンサンブルについて述べる。 この新しいEGPモデルに基づいて、不確実性および不一致ルールに基づいて、一連の取得関数が出現する。 適応的に重み付けされたEGPベースの取得関数のアンサンブルも、さらなる性能向上のために導入されている。
  論文  参考訳（メタデータ） (2022-06-10T11:48:49Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Real-Time Anomaly Detection in Data Centers for Log-based Predictive Maintenance using an Evolving Fuzzy-Rule-Based Approach [0.0]
  我々は、ジュネーブの大型ハドロン衝突型加速器(LHC)における高エネルギー物理実験を支援するイタリアの核物理学研究所(INFN)のTier-1データセンターに焦点を当てた。 そこで本稿では,スライディングタイムウィンドウに基づくログレコードの監視と分類を行うリアルタイム手法と,ファジィルールに基づく分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-25T21:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。