論文の概要: Log Parsing: How Far Can ChatGPT Go?

• arxiv url: http://arxiv.org/abs/2306.01590v2
• Date: Sun, 20 Aug 2023 00:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 23:35:00.202994
• Title: Log Parsing: How Far Can ChatGPT Go?
• Title（参考訳）: ログ解析:ChatGPTはどこまで使えるのか?
• Authors: Van-Hoang Le and Hongyu Zhang
• Abstract要約: 本稿では,ChatGPTが2つの研究課題に対処してログ解析を行う能力を評価する。 以上の結果から,ChatGPTは適切なプロンプトでログ解析を行う上で有望な結果が得られることがわかった。 本稿では,ChatGPTに基づくログ解析の課題と可能性について概説する。
• 参考スコア（独自算出の注目度）: 15.568467566404529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software logs play an essential role in ensuring the reliability and maintainability of large-scale software systems, as they are often the sole source of runtime information. Log parsing, which converts raw log messages into structured data, is an important initial step towards downstream log analytics. In recent studies, ChatGPT, the current cutting-edge large language model (LLM), has been widely applied to a wide range of software engineering tasks. However, its performance in automated log parsing remains unclear. In this paper, we evaluate ChatGPT's ability to undertake log parsing by addressing two research questions. (1) Can ChatGPT effectively parse logs? (2) How does ChatGPT perform with different prompting methods? Our results show that ChatGPT can achieve promising results for log parsing with appropriate prompts, especially with few-shot prompting. Based on our findings, we outline several challenges and opportunities for ChatGPT-based log parsing.
• Abstract（参考訳）: ソフトウェアログは、しばしばランタイム情報の唯一のソースであるため、大規模ソフトウェアシステムの信頼性と保守性を保証する上で重要な役割を果たす。 生ログメッセージを構造化データに変換するログ解析は、下流ログ分析への重要なステップである。 最近の研究では、現在の最先端の大規模言語モデル(LLM)であるChatGPTが、幅広いソフトウェアエンジニアリングタスクに広く適用されている。 しかし、自動ログ解析のパフォーマンスは未だに不明である。 本稿では,ChatGPTが2つの研究課題に対処してログ解析を行う能力を評価する。 1) ChatGPT はログを効果的に解析できるか? (2) ChatGPTは、異なるプロンプトメソッドでどのように動作するか? 以上の結果から,ChatGPTはログ解析において,特に数発のプロンプトで,適切なプロンプトで有望な結果が得られることがわかった。 本稿では,ChatGPTに基づくログ解析の課題と可能性について概説する。

関連論文リスト

• Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
  トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。 我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
  論文  参考訳（メタデータ） (2024-06-10T10:39:28Z)
• LogPTR: Variable-Aware Log Parsing with Pointer Network [26.22475002474724]
  本稿では,ログ中の静的部分と動的部分を抽出し,変数のカテゴリを識別する,最初のエンドツーエンド変数認識ログであるLogPTRを提案する。 我々は16の公開ログデータセットに対して広範な実験を行い、その結果、LogPTRは最先端のログ解析より優れていることを示した。
  論文  参考訳（メタデータ） (2024-01-11T15:41:21Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• An Assessment of ChatGPT on Log Data [0.0]
  本稿では,ChatGPTのログデータにおけるいくつかの興味深いタスクの実行能力について検討する。 以上の結果から,ログ処理におけるChatGPTの現行バージョンの性能は,応答の整合性の欠如やスケーラビリティの問題により制限されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-14T04:09:27Z)
• LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection [35.48151798946824]
  本稿では,ChatGPTに基づくログベースの異常検出フレームワークであるLogGPTを提案する。 ChatGPTの言語解釈機能を活用することで、LogGPTは大規模コーパスからログベースの異常検出への知識の転送可能性を検討することを目的としている。 我々は,LogGPTの性能評価実験を行い,BGLとスピリットデータセットの深層学習に基づく3つの手法と比較した。
  論文  参考訳（メタデータ） (2023-09-03T14:22:57Z)
• ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
  ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。 既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
  論文  参考訳（メタデータ） (2023-04-27T11:33:48Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。