論文の概要: Token Interdependency Parsing (Tipping) -- Fast and Accurate Log Parsing

• arxiv url: http://arxiv.org/abs/2408.00645v1
• Date: Thu, 1 Aug 2024 15:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 20:16:43.385827
• Title: Token Interdependency Parsing (Tipping) -- Fast and Accurate Log Parsing
• Title（参考訳）: Token Interdependency Parsing (Tipping) -- 高速かつ正確なログ解析
• Authors: Shayan Hashemi, Mika Mäntylä,
• Abstract要約: ほとんどの自動分析ツールには、ログテンプレートをパラメータから分離するように設計されたコンポーネントが含まれている。 タイピング"は、ルールベースのトークンライザ、相互依存トークングラフ、強く接続されたコンポーネント、そして、迅速でスケーラブルで正確なログ解析を保証するための様々な技術を組み合わせています。 ラップトップマシン上では、20秒以内で1100万行のログを解析できる。
• 参考スコア（独自算出の注目度）: 0.09208007322096533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last decade, an impressive increase in software adaptions has led to a surge in log data production, making manual log analysis impractical and establishing the necessity for automated methods. Conversely, most automated analysis tools include a component designed to separate log templates from their parameters, commonly referred to as a "log parser". This paper aims to introduce a new fast and accurate log parser, named "Tipping". Tipping combines rule-based tokenizers, interdependency token graphs, strongly connected components, and various techniques to ensure rapid, scalable, and precise log parsing. Furthermore, Tipping is parallelized and capable of running on multiple processing cores with close to linear efficiency. We evaluated Tipping against other state-of-the-art log parsers in terms of accuracy, performance, and the downstream task of anomaly detection. Accordingly, we found that Tipping outperformed existing methods in accuracy and performance in our evaluations. More in-depth, Tipping can parse 11 million lines of logs in less than 20 seconds on a laptop machine. Furthermore, we re-implemented a parallelized version of the past IpLom algorithm to demonstrate the effect of parallel processing, and it became the second-fastest parser. As logs keep growing in volume and complexity, the software engineering community needs to ensure automated log analysis tools keep up with the demand, being capable of efficiently handling massive volumes of logs with high accuracy. Tipping's robustness, versatility, efficiency, and scalability make it a viable tool for the modern automated log analysis task.
• Abstract（参考訳）: 過去10年間で、ソフトウェアへの適応が著しく増加し、ログデータの生産が急増し、手動のログ分析が現実的でなくなり、自動化されたメソッドの必要性が確立された。 逆に、ほとんどの自動分析ツールは、ログテンプレートをパラメータから分離するように設計されたコンポーネントを含んでいる。 本稿では,高速かつ正確なログパーサ「Tipping」を導入することを目的とする。 タイピングには、ルールベースのトークンライザ、相互依存トークングラフ、強く接続されたコンポーネント、および迅速でスケーラブルで正確なログ解析を保証するためのさまざまなテクニックが組み合わされている。 さらに、Tippingは並列化されており、線形効率に近い複数の処理コア上で動作することができる。 我々は、異常検出の精度、性能、下流タスクの観点から、他の最先端のログパーサに対してティッピングを評価した。 その結果,Tipは評価において,既存の手法よりも精度や性能に優れていたことがわかった。 より深く、Tippingはラップトップマシンで20秒以内に1100万行のログを解析できる。 さらに,従来のIpLomアルゴリズムの並列化バージョンを再実装し,並列処理の効果を実証した。 ログのボリュームと複雑性の増大が続く中、ソフトウェアエンジニアリングコミュニティは、大量のログを高精度で効率的に処理できる自動ログ分析ツールを需要に沿うようにする必要がある。 タイピングの堅牢性、汎用性、効率性、スケーラビリティは、現代の自動ログ分析タスクにとって実行可能なツールとなります。

関連論文リスト

• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• On Automatic Parsing of Log Records [0.0]
  繰り返しニューラルネットワークベースのMTモデルをトレーニングするために使用した合成Apacheログレコードを生成するツールを作成します。 実世界のログに対するモデルの評価は、モデルがApacheログフォーマットを学び、個々のログレコードを解析できることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T00:27:41Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。