論文の概要: Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study
- arxiv url: http://arxiv.org/abs/2307.05950v2
- Date: Mon, 1 Apr 2024 12:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 13:31:56.734528
- Title: Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study
- Title（参考訳）: 自動ログ生成におけるLCMの有効性を探る:実証的研究
- Authors: Yichen Li, Yintong Huo, Zhihan Jiang, Renyi Zhong, Pinjia He, Yuxin Su, Lionel Briand, Michael R. Lyu,
- Abstract要約: 本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。
まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
- 参考スコア（独自算出の注目度）: 32.53659676826846
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automated logging statement generation supports developers in documenting critical software runtime behavior. Given the great success in natural language generation and programming language comprehension, large language models (LLMs) might help developers generate logging statements, but this has not yet been investigated. To fill the gap, this paper performs the first study on exploring LLMs for logging statement generation.We first build a logging statement generation dataset, LogBench, with two parts: (1) LogBench-O: logging statements collected from GitHub repositories, and (2) LogBench-T: the transformed unseen code from LogBench-O. Then, we leverage LogBench to evaluate the effectiveness and generalization capabilities (using LogBench-T) of eleven top-performing LLMs. In addition, we examine the performance of these LLMs against classical retrieval-based and machine learning-based logging methods from the era preceding LLMs. We further evaluate LLM's logging generalization capabilities using unseen data (LogBench-T) derived from code transformation techniques. While existing LLMs deliver decent predictions on logging levels and logging variables, our study indicates that they only achieve a maximum BLEU score of 0.249, thus calling for improvements. The paper also highlights the importance of prompt constructions and external factors (e.g., programming contexts and code comments) for LLMs' logging performance. Based on these findings, we identify five implications and provide practical advice for future logging research. Our empirical analysis discloses the limitations of current logging approaches while showcasing the potential of LLM-based logging tools, and provides actionable guidance for building more practical models.
- Abstract（参考訳）: 自動ロギングステートメント生成は、開発者が重要なソフトウェアランタイムの振る舞いを文書化するのをサポートする。
自然言語生成とプログラミング言語の理解において大きな成功を収めていることを考えると、大規模言語モデル(LLM)は開発者がロギングステートメントを生成するのに役立つかもしれないが、まだ調査されていない。
このギャップを埋めるために、本稿では、ロギングステートメント生成のためのLLMを初めて検討する。まず、ログステートメント生成データセットであるLogBenchを、(1)LogBench-O:GitHubリポジトリから収集されたログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードという2つのパートで構築する。
次に、LogBenchを利用して、トップパフォーマンスLLM11の有効性と一般化能力(LogBench-T)を評価する。
さらに,LLM 以前の時代の古典的検索ベースおよび機械学習ベースのロギング手法に対して,これらの LLM の性能について検討した。
さらに、コード変換手法から導出した未確認データ(LogBench-T)を用いて、LCMのロギング一般化機能を評価する。
既存のLCMでは,ロギングレベルやロギング変数について十分な予測が可能であるが,BLEUスコアの0.249しか達成できないため,改善が求められている。
また、LCMのロギング性能には、プロンプト構造と外部要因(例えば、プログラミングコンテキストやコードコメント)が重要であることも強調した。
これらの知見に基づき,5つの意味を同定し,今後のロギング研究への実践的アドバイスを提供する。
我々の経験的分析は、LLMベースのロギングツールの可能性を示しながら、現在のロギングアプローチの限界を明らかにし、より実用的なモデルを構築するための実用的なガイダンスを提供する。
関連論文リスト
- RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。
我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
論文 参考訳（メタデータ） (2024-11-04T00:01:34Z) - Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。
本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文 参考訳（メタデータ） (2024-10-11T03:52:17Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。
我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。
大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-11T11:32:01Z) - Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。
本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
論文 参考訳（メタデータ） (2024-06-05T15:31:43Z) - LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文 参考訳（メタデータ） (2024-04-27T20:34:29Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。
LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文 参考訳（メタデータ） (2023-10-03T04:46:59Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳（メタデータ） (2023-05-23T06:13:10Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。