Fugu-MT 論文翻訳(概要): HLogformer: A Hierarchical Transformer for Representing Log Data

論文の概要: HLogformer: A Hierarchical Transformer for Representing Log Data

arxiv url: http://arxiv.org/abs/2408.16803v1
Date: Thu, 29 Aug 2024 13:08:41 GMT
ステータス: 処理完了
システム内更新日: 2024-09-02 17:28:49.079191
Title: HLogformer: A Hierarchical Transformer for Representing Log Data
Title（参考訳）: HLogformer: ログデータを表現するための階層変換器
Authors: Zhichao Hou, Mina Ghashami, Mikhail Kuznetsov, MohamadAli Torkamani,
Abstract要約: HLogformerは、ログデータ用に特別に設計された新しい階層型トランスフォーマーフレームワークである。ログデータをフラットなシーケンスとして扱う従来のモデルとは異なり、当社のフレームワークはログエントリを、その固有の階層的な組織を尊重する方法で処理します。
参考スコア（独自算出の注目度）: 1.906179410714637
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers have gained widespread acclaim for their versatility in handling diverse data structures, yet their application to log data remains underexplored. Log data, characterized by its hierarchical, dictionary-like structure, poses unique challenges when processed using conventional transformer models. Traditional methods often rely on manually crafted templates for parsing logs, a process that is labor-intensive and lacks generalizability. Additionally, the linear treatment of log sequences by standard transformers neglects the rich, nested relationships within log entries, leading to suboptimal representations and excessive memory usage. To address these issues, we introduce HLogformer, a novel hierarchical transformer framework specifically designed for log data. HLogformer leverages the hierarchical structure of log entries to significantly reduce memory costs and enhance representation learning. Unlike traditional models that treat log data as flat sequences, our framework processes log entries in a manner that respects their inherent hierarchical organization. This approach ensures comprehensive encoding of both fine-grained details and broader contextual relationships. Our contributions are threefold: First, HLogformer is the first framework to design a dynamic hierarchical transformer tailored for dictionary-like log data. Second, it dramatically reduces memory costs associated with processing extensive log sequences. Third, comprehensive experiments demonstrate that HLogformer more effectively encodes hierarchical contextual information, proving to be highly effective for downstream tasks such as synthetic anomaly detection and product recommendation.
Abstract（参考訳）: トランスフォーマーは、多様なデータ構造を扱うための汎用性に対して、広く称賛されている。ログデータは、その階層的な辞書のような構造によって特徴づけられ、従来のトランスフォーマーモデルを用いて処理する際、ユニークな課題を生じさせる。従来の手法は、ログを解析するための手作業によるテンプレートに依存しており、これは労働集約的であり、一般化性に欠けるプロセスである。さらに、標準的なトランスフォーマーによるログシーケンスの線形処理は、ログエントリ内のリッチでネストされた関係を無視し、最適以下の表現と過剰なメモリ使用につながる。これらの問題に対処するために,ログデータに特化して設計された新しい階層型トランスフォーマーフレームワークであるHLogformerを紹介した。 HLogformerはログエントリの階層構造を活用して、メモリコストを大幅に削減し、表現学習を強化する。ログデータをフラットなシーケンスとして扱う従来のモデルとは異なり、当社のフレームワークはログエントリを、その固有の階層的な組織を尊重する方法で処理します。このアプローチは、きめ細かい詳細とより広い文脈関係の両方を包括的に符号化することを保証する。まず、HLogformerは辞書のようなログデータに適した動的階層変換器を設計する最初のフレームワークです。第2に、広範なログシーケンスの処理に伴うメモリコストを劇的に削減する。第3に、総合的な実験では、HLogformerが階層的なコンテキスト情報をより効果的にエンコードし、合成異常検出や製品レコメンデーションといった下流タスクに非常に効果的であることを証明している。

関連論文リスト

LogLLM: Log-based Anomaly Detection Using Large Language Models [8.03646578793411]
大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。 LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
論文参考訳（メタデータ） (2024-11-13T12:18:00Z)
HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
論文参考訳（メタデータ） (2024-08-15T17:54:31Z)
Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
論文参考訳（メタデータ） (2024-06-10T10:39:28Z)
LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文参考訳（メタデータ） (2024-01-09T12:55:21Z)
GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
論文参考訳（メタデータ） (2023-09-12T04:21:30Z)
A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
論文参考訳（メタデータ） (2023-08-21T16:24:15Z)
Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
論文参考訳（メタデータ） (2023-08-17T14:19:22Z)
Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文参考訳（メタデータ） (2022-04-22T10:45:01Z)
Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文参考訳（メタデータ） (2020-08-21T07:26:55Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。