論文の概要: Exploring the Effectiveness of LLMs in Automated Logging Generation: An
Empirical Study
- arxiv url: http://arxiv.org/abs/2307.05950v1
- Date: Wed, 12 Jul 2023 06:32:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:44:27.918467
- Title: Exploring the Effectiveness of LLMs in Automated Logging Generation: An
Empirical Study
- Title(参考訳): 自動ログ生成におけるLCMの有効性を探る:実証的研究
- Authors: Yichen Li, Yintong Huo, Zhihan Jiang, Renyi Zhong, Pinjia He, Yuxin
Su, Michael R. Lyu
- Abstract要約: 本稿では,ログステートメント生成に大規模言語モデルを適用した最初の大規模研究を行う。
LogBench では,8つの最先端 LLM の有効性と一般化能力を評価する。
- 参考スコア(独自算出の注目度): 36.98006395497526
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automated logging statement generation techniques facilitate developers in
writing appropriate logging statements that document software behaviors.
Current retrieval-based and learning-based logging methods fail to provide
accurate logging statements in complex software. Although existing large
language models (LLMs) might be a good fit for the task due to their great
success in natural language generation and programming language comprehension,
their effectiveness and generalization capabilities have not been explored. To
this end, this paper performs the first extensive study on applying LLMs for
logging statement generation. We build LogBench, the first logging statement
generation dataset. On LogBench, we evaluate the effectiveness and
generalization capabilities of eight state-of-the-art LLMs, which include
general-purpose and code-specific models ranging from 60M to 175B in size.
Specifically, we evaluate LLM's logging effectiveness by studying 1) their
ability to decide logging ingredients, 2) the impact of the internal
characteristics of LLMs, and 3) the influence of external factors. We further
evaluate LLM's logging generalization capabilities using unseen data derived
from code transformation techniques. Our study demonstrates that existing LLMs
fall short of practical requirements for generating proper logging statement
texts. We also disclose the impact of internal characteristics and external
factors for LLMs in automated logging. In addition, we observe that existing
LLMs cannot generalize to logging unseen code, revealing their unsatisfactory
generalization capabilities. Based on our findings, we further discuss three
implications that can enhance logging statement generation in the future, such
as developing a unified metric for logging quality, incorporating shareable
code knowledge into LLMs, and devising suitable prompts.
- Abstract(参考訳): 自動ロギングステートメント生成技術は、開発者がソフトウェアの振る舞いを文書化する適切なロギングステートメントを書くのに役立つ。
現在の検索ベースおよび学習ベースのロギング手法は、複雑なソフトウェアで正確なロギングステートメントを提供できない。
既存の大規模言語モデル(LLM)は、自然言語生成とプログラミング言語理解において大きな成功を収めたために、このタスクに適しているかもしれないが、その有効性と一般化能力は検討されていない。
そこで本稿では,ロギングステートメント生成にLLMを適用した最初の大規模研究を行う。
最初のロギングステートメント生成データセットであるLogBenchを構築します。
LogBenchでは、60Mから175Bの汎用およびコード固有モデルを含む8つの最先端LCMの有効性と一般化能力を評価する。
具体的には,LLMのロギングの有効性を研究によって評価する。
1) 伐採材料を決定する能力
2 LLMの内部特性の影響、及び
3)外部要因の影響。
さらに,LLMのロギング一般化機能について,コード変換手法から導出した未確認データを用いて評価する。
本研究は,既存のLCMが適切なロギング文を生成するための実践的な要件を満たさないことを示す。
また,自動ロギングにおけるLCMの内部特性と外部要因の影響を明らかにした。
さらに,既存のLLMでは,未確認コードのロギングには一般化できないこと,不満足な一般化能力を明らかにする。
本稿では,ロギング品質の統一化,共有可能なコード知識のLLMへの組み込み,適切なプロンプトの考案など,ロギングステートメント生成を将来的に向上させる上での3つの意味について考察する。
関連論文リスト
- LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文 参考訳(メタデータ) (2024-04-27T20:34:29Z) - Can Language Models Pretend Solvers? Logic Code Simulation with LLMs [3.802945676202634]
トランスフォーマーベースの大規模言語モデル(LLM)は、論理問題に対処する上で大きな可能性を示している。
この研究は、論理コードシミュレーションという新しい側面に発展し、論理プログラムの結果を予測するために論理解法をエミュレートするよう LLM に強制する。
論文 参考訳(メタデータ) (2024-03-24T11:27:16Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - A & B == B & A: Triggering Logical Reasoning Failures in Large Language
Models [65.86149763739141]
LogicAskerはLLMの論理的推論能力を総合的に評価し改善する自動手法である。
LogicAsker は GPT-3, ChatGPT, GPT-4, Bard, Vicuna, Guanaco の6種類の LLM に対して評価を行った。
その結果、LogicAskerのテストケースは、異なるLLMで論理的推論失敗を25%から94%の確率で発見できることがわかった。
論文 参考訳(メタデータ) (2024-01-01T13:53:53Z) - LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。
LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文 参考訳(メタデータ) (2023-10-03T04:46:59Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳(メタデータ) (2023-05-24T01:46:07Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z) - Large Language Models are Few-Shot Summarizers: Multi-Intent Comment
Generation via In-Context Learning [34.006227676170504]
本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。
2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
論文 参考訳(メタデータ) (2023-04-22T12:26:24Z) - Benchmarking Large Language Models for Automated Verilog RTL Code
Generation [21.747037230069854]
有用なVerilogを生成するために,大規模言語モデル(LLM)を特徴付ける。
機能解析のためのテストベンチと,Verilogコードの構文をテストするフローからなる評価フレームワークを構築した。
その結果,LLMの微調整結果は,構文的に正しいコードを生成する能力が高いことがわかった。
論文 参考訳(メタデータ) (2022-12-13T16:34:39Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。