論文の概要: Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics

• arxiv url: http://arxiv.org/abs/2008.06448v3
• Date: Wed, 13 Sep 2023 01:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 16:07:59.296589
• Title: Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics
• Title（参考訳）: Loghub: AI駆動ログ分析のためのシステムログデータセットの大規模なコレクション
• Authors: Jieming Zhu, Shilin He, Pinjia He, Jinyang Liu, and Michael R. Lyu
• Abstract要約: システムログデータセットの大規模なコレクションであるloghubを収集、リリースしました。 特にloghubは、幅広いソフトウェアシステムから収集された19の現実世界のログデータセットを提供する。 この論文の執筆時点で、ログハブデータセットは、業界と学術の両方の数百の組織によって、合計で約9万回ダウンロードされている。
• 参考スコア（独自算出の注目度）: 40.96246300489472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logs have been widely adopted in software system development and maintenance because of the rich runtime information they record. In recent years, the increase of software size and complexity leads to the rapid growth of the volume of logs. To handle these large volumes of logs efficiently and effectively, a line of research focuses on developing intelligent and automated log analysis techniques. However, only a few of these techniques have reached successful deployments in industry due to the lack of public log datasets and open benchmarking upon them. To fill this significant gap and facilitate more research on AI-driven log analytics, we have collected and released loghub, a large collection of system log datasets. In particular, loghub provides 19 real-world log datasets collected from a wide range of software systems, including distributed systems, supercomputers, operating systems, mobile systems, server applications, and standalone software. In this paper, we summarize the statistics of these datasets, introduce some practical usage scenarios of the loghub datasets, and present our benchmarking results on loghub to benefit the researchers and practitioners in this field. Up to the time of this paper writing, the loghub datasets have been downloaded for roughly 90,000 times in total by hundreds of organizations from both industry and academia. The loghub datasets are available at https://github.com/logpai/loghub.
• Abstract（参考訳）: ログは、記録した豊富なランタイム情報のために、ソフトウェアシステムの開発とメンテナンスに広く採用されている。 近年、ソフトウェアのサイズと複雑さの増加は、ログのボリュームを急速に増加させています。 これらの大量のログを効率的かつ効率的に処理するために、インテリジェントで自動化されたログ分析技術の開発に焦点が当てられている。 しかしながら、公開ログデータセットの欠如と、それらに対するオープンなベンチマークのため、業界におけるデプロイメントの成功に到達したテクニックはごくわずかである。 この大きなギャップを埋め、AI駆動のログ分析の研究を促進するために、システムログデータセットの大規模なコレクションであるloghubを収集、リリースしました。 特にloghubは、分散システム、スーパーコンピュータ、オペレーティングシステム、モバイルシステム、サーバアプリケーション、スタンドアロンソフトウェアなど、幅広いソフトウェアシステムから収集された19の現実世界のログデータセットを提供する。 本稿では,これらのデータセットの統計を要約し,loghubデータセットの実用シナリオを紹介し,この分野の研究者や実践者のためにloghubのベンチマーク結果を紹介する。 この論文の執筆時点までに、loghubデータセットは、業界とアカデミアの両方から数百の組織によって、合計で約9万回ダウンロードされている。 loghubデータセットはhttps://github.com/logpai/loghub.com/で入手できる。

関連論文リスト

• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection [34.91789047641838]
  AutoLogは、異常検出のための最初の自動ログ生成手法である。 実際にシステムを実行することなく、実行時のログシーケンスを生成する。 人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。
  論文  参考訳（メタデータ） (2023-08-18T05:56:18Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• On the Effectiveness of Log Representation for Log-based Anomaly Detection [12.980238412281471]
  本研究は,従来のログ解析研究から広く採用されているログ表現技術について検討し,比較する。 6つのログ表現手法を選択し、7つのMLモデルと4つの公開ログデータセットで評価する。 また、ログ表現技術を採用する際に、ログ解析プロセスと異なる特徴集約アプローチの影響についても検討する。
  論文  参考訳（メタデータ） (2023-08-17T02:18:59Z)
• LogAI: A Library for Log Analytics and Intelligence [27.889928073709516]
  LogAIは、ログ分析とインテリジェンスのためのワンストップのオープンソースライブラリである。 ログの要約、ログクラスタリング、ログ異常検出などのタスクをサポートする。 LogAIは統一されたモデルインターフェースを提供し、人気のある時系列、統計学習、ディープラーニングモデルを提供する。
  論文  参考訳（メタデータ） (2023-01-31T05:08:39Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。