論文の概要: Prompting for Automatic Log Template Extraction
- arxiv url: http://arxiv.org/abs/2307.09950v3
- Date: Thu, 29 Feb 2024 09:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:48:48.175489
- Title: Prompting for Automatic Log Template Extraction
- Title（参考訳）: 自動ログテンプレート抽出のためのプロンプト
- Authors: Junjielong Xu, Ruichun Yang, Yintong Huo, Chengyu Zhang, and Pinjia He
- Abstract要約: DivLogは、大規模言語モデル(LLM)の非コンテキスト学習(ICL)能力に基づく効果的なログ解析フレームワークである。
プロンプト内の例のセマンティクスをマイニングすることで、DivLogはトレーニング不要な方法でターゲットログテンプレートを生成する。
- 参考スコア（独自算出の注目度）: 6.299547112893045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Log parsing, which involves log template extraction from semi-structured logs
to produce structured logs, is the first and the most critical step in
automated log analysis. However, current log parsers suffer from limited
effectiveness for two reasons. First, traditional data-driven log parsers
solely rely on heuristics or handcrafted features designed by domain experts,
which may not consistently perform well on logs from diverse systems. Second,
existing supervised log parsers require model tuning, which is often limited to
fixed training samples and causes sub-optimal performance across the entire log
source. To address this limitation, we propose DivLog, an effective log parsing
framework based on the in-context learning (ICL) ability of large language
models (LLMs). Specifically, before log parsing, DivLog samples a small amount
of offline logs as candidates by maximizing their diversity. Then, during log
parsing, DivLog selects five appropriate labeled candidates as examples for
each target log and constructs them into a prompt. By mining the semantics of
examples in the prompt, DivLog generates a target log template in a
training-free manner. In addition, we design a straightforward yet effective
prompt format to extract the output and enhance the quality of the generated
log templates. We conducted experiments on 16 widely-used public datasets. The
results show that DivLog achieves (1) 98.1% Parsing Accuracy, (2) 92.1%
Precision Template Accuracy, and (3) 92.9% Recall Template Accuracy on average,
exhibiting state-of-the-art performance.
- Abstract（参考訳）: ログ解析は、半構造化ログからログテンプレートを抽出することで構造化ログを生成する。
しかし、現在のログパーサーは2つの理由で有効性が制限されている。
まず、従来のデータ駆動ログパーサは、ドメインの専門家が設計したヒューリスティックや手作りの機能のみに依存しています。
第二に、既存の教師付きログパーサはモデルチューニングを必要とするため、固定されたトレーニングサンプルに制限されることが多く、ログソース全体のサブ最適パフォーマンスを引き起こす。
この制限に対処するため,大規模言語モデル(LLM)の文脈内学習(ICL)能力に基づく効果的なログ解析フレームワークであるDivLogを提案する。
具体的には、ログ解析の前に、ダイバーシティを最大化することで、少数のオフラインログを候補としてサンプリングする。
次に、ログ解析中に、DivLogはターゲットログの例として5つの適切なラベル付き候補を選択し、プロンプトに構成する。
プロンプトで例のセマンティクスをマイニングすることで、divlogはトレーニング不要な方法でターゲットログテンプレートを生成する。
さらに,出力を抽出し,生成したログテンプレートの品質を向上させるための,単純かつ効果的なプロンプトフォーマットも設計する。
広く利用されている16の公開データセットについて実験を行った。
その結果, (1) 98.1% のパーシング精度, (2) 92.1% の精度テンプレート精度, (3) 92.9% のリコールテンプレート精度を平均で達成し, 最先端性能を示した。
関連論文リスト
- HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。
ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。
既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
論文 参考訳（メタデータ） (2024-08-15T17:54:31Z) - Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。
我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
論文 参考訳（メタデータ） (2024-06-10T10:39:28Z) - Data is all you need: Finetuning LLMs for Chip Design via an Automated design-data augmentation framework [50.02710905062184]
本稿では,Verilog と EDA スクリプトに適合する高ボリュームかつ高品質な自然言語を生成する自動設計データ拡張フレームワークを提案する。
Verilog生成の精度は現在の最先端のオープンソースVerilog生成モデルを超え、同じベンチマークで58.8%から70.6%に増加した。
論文 参考訳（メタデータ） (2024-03-17T13:01:03Z) - LogPTR: Variable-Aware Log Parsing with Pointer Network [26.22475002474724]
本稿では,ログ中の静的部分と動的部分を抽出し,変数のカテゴリを識別する,最初のエンドツーエンド変数認識ログであるLogPTRを提案する。
我々は16の公開ログデータセットに対して広範な実験を行い、その結果、LogPTRは最先端のログ解析より優れていることを示した。
論文 参考訳（メタデータ） (2024-01-11T15:41:21Z) - LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳（メタデータ） (2024-01-09T12:55:21Z) - A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。
我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
論文 参考訳（メタデータ） (2023-08-21T16:24:15Z) - Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。
本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。
本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
論文 参考訳（メタデータ） (2023-08-17T14:19:22Z) - Data-Driven Approach for Log Instruction Quality Assessment [59.04636530383049]
優れた品質特性を持つログ命令の記述方法に関するガイドラインは,広く採用されていない。
1)ログレベルの正確さを評価するための正しいログレベルの割り当てと,2)イベント記述の冗長化に必要な静的テキストの最小富度を評価する十分な言語構造である。
本手法は,F1スコア0.99の十分な言語構造を用いて,ログレベルの割当を精度0.88で正確に評価する。
論文 参考訳（メタデータ） (2022-04-06T07:02:23Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。