論文の概要: Studying and Benchmarking Large Language Models For Log Level Suggestion

• arxiv url: http://arxiv.org/abs/2410.08499v1
• Date: Fri, 11 Oct 2024 03:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 23:34:54.091656
• Title: Studying and Benchmarking Large Language Models For Log Level Suggestion
• Title（参考訳）: ログレベルの提案のための大規模言語モデルの学習とベンチマーク
• Authors: Yi Wen Heng, Zeyang Ma, Zhenhao Li, Dong Jae Kim, Tse-Hsun, Chen,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
• 参考スコア（独自算出の注目度）: 49.176736212364496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become a focal point of research across various domains, including software engineering, where their capabilities are increasingly leveraged. Recent studies have explored the integration of LLMs into software development tools and frameworks, revealing their potential to enhance performance in text and code-related tasks. Log level is a key part of a logging statement that allows software developers control the information recorded during system runtime. Given that log messages often mix natural language with code-like variables, LLMs' language translation abilities could be applied to determine the suitable verbosity level for logging statements. In this paper, we undertake a detailed empirical analysis to investigate the impact of characteristics and learning paradigms on the performance of 12 open-source LLMs in log level suggestion. We opted for open-source models because they enable us to utilize in-house code while effectively protecting sensitive information and maintaining data security. We examine several prompting strategies, including Zero-shot, Few-shot, and fine-tuning techniques, across different LLMs to identify the most effective combinations for accurate log level suggestions. Our research is supported by experiments conducted on 9 large-scale Java systems. The results indicate that although smaller LLMs can perform effectively with appropriate instruction and suitable techniques, there is still considerable potential for improvement in their ability to suggest log levels.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア工学を含む様々な分野における研究の焦点となり、その能力はますます活用されている。 近年の研究では,LLMをソフトウェア開発ツールやフレームワークに統合し,テキストおよびコード関連タスクのパフォーマンス向上の可能性を明らかにしている。 ログレベルはロギングステートメントの重要な部分であり、開発者はシステム実行中に記録された情報を制御できる。 ログメッセージが自然言語とコードライクな変数を混在することが多いことから、LLMの言語翻訳能力は、ロギングステートメントに適した冗長度を決定するために応用できる。 本稿では,12個のオープンソースLCMの性能に及ぼす特性と学習パラダイムの影響を,ログレベルの提案で詳細に分析する。 機密情報を効果的に保護し、データセキュリティを維持しながら、社内コードの利用を可能にするため、オープンソースモデルを選択しました。 我々は,Zero-shot,Few-shot,Few-tuningなど,多種多様なLCMを用いて,正確なログレベル提案のための最も効果的な組み合わせを特定する。 私たちの研究は、9つの大規模なJavaシステムで実施された実験によって支援されています。 その結果,より小規模なLLMは適切な指導と適切な手法で効果的に動作可能であるが,ログレベルを提案する能力が向上する可能性は高いことがわかった。

関連論文リスト

• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• LUK: Empowering Log Understanding with Expert Knowledge from Large Language Models [32.938862271579424]
  本稿では,LPMから専門知識を取得し,より小さなPLM上でのログ理解を促進する,LUKと呼ばれる新しい知識向上フレームワークを提案する。 LUKは、異なるログ分析タスクに関する最先端の結果を達成し、LLMからのエキスパート知識をより効果的に利用してログを理解するための広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T13:58:34Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• The potential of LLMs for coding with low-resource and domain-specific programming languages [0.0]
  本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。 この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
  論文  参考訳（メタデータ） (2023-07-24T17:17:13Z)
• Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
  本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。 まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
  論文  参考訳（メタデータ） (2023-07-12T06:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。