論文の概要: Larger Is Not Always Better: Exploring Small Open-source Language Models in Logging Statement Generation

• arxiv url: http://arxiv.org/abs/2505.16590v2
• Date: Wed, 28 May 2025 03:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 12:33:41.712408
• Title: Larger Is Not Always Better: Exploring Small Open-source Language Models in Logging Statement Generation
• Title（参考訳）: 大規模化は常に改善されない - ロギングステートメント生成で小さなオープンソース言語モデルを探る
• Authors: Renyi Zhong, Yichen Li, Guangba Yu, Wenwei Gu, Jinxi Kuang, Yintong Huo, Michael R. Lyu,
• Abstract要約: 自動ロギングステートメント生成のための大規模言語モデル(LLM)には、プライバシとリソースの問題がある。 本稿では,ロギングステートメントの自動生成のための小規模なオープンソース言語モデル(SOLM)を評価するための大規模な実証的研究について述べる。
• 参考スコア（独自算出の注目度）: 28.884070374408203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developers use logging statements to create logs that document system behavior and aid in software maintenance. As such, high-quality logging is essential for effective maintenance; however, manual logging often leads to errors and inconsistency. Recent methods emphasize using large language models (LLMs) for automated logging statement generation, but these present privacy and resource issues, hindering their suitability for enterprise use. This paper presents the first large-scale empirical study evaluating small open-source language models (SOLMs) for automated logging statement generation. We evaluate four prominent SOLMs using various prompt strategies and parameter-efficient fine-tuning techniques, such as Low-Rank Adaptation (LoRA) and Retrieval-Augmented Generation (RAG). Our results show that fine-tuned SOLMs with LoRA and RAG prompts, particularly Qwen2.5-coder-14B, outperform existing tools and LLM baselines in predicting logging locations and generating high-quality statements, with robust generalization across diverse repositories. These findings highlight SOLMs as a privacy-preserving, efficient alternative for automated logging.
• Abstract（参考訳）: 開発者はロギングステートメントを使用して、システムの振る舞いを文書化し、ソフトウェアのメンテナンスを支援するログを作成する。 そのため、効率的なメンテナンスには高品質なロギングが不可欠である。 近年の手法では,ログステートメントの自動生成に大規模言語モデル(LLM)を用いることが強調されている。 本稿では,ロギングステートメントの自動生成のための小規模なオープンソース言語モデル(SOLM)を評価するための大規模な実証的研究について述べる。 我々は,ローランド適応 (LoRA) やレトリーバル拡張生成 (RAG) など,様々なプロンプト戦略とパラメータ効率の高い微調整技術を用いて,SOLMを4つ評価した。 特にQwen2.5-coder-14Bは,ログ位置の予測や高品質なステートメントの生成において,既存のツールやLCMベースラインよりも優れ,多様なリポジトリをまたいだ堅牢な一般化を実現している。 これらの結果は、SOLMが自動ロギングのプライバシー保護と効率的な代替手段であることを示している。

関連論文リスト

• System Log Parsing with Large Language Models: A Review [2.2779174914142346]
  大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。 有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。 この研究は29 LLMベースのログ解析手法を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-04-07T09:41:04Z)
• AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model [42.72663245137984]
  本稿では、AdaptiveLogとして知られる適応ログ分析フレームワークを紹介する。 優れた結果を確保しつつ、LLMに関連するコストを効果的に削減する。 実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-01-19T12:46:01Z)
• Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
  大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
  論文  参考訳（メタデータ） (2024-10-11T03:52:17Z)
• Comparison of Open-Source and Proprietary LLMs for Machine Reading Comprehension: A Practical Analysis for Industrial Applications [0.0]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)アプリケーションで顕著な性能を示した。 本稿では,オープンソースLLMとプロプライエタリモデルの比較分析を行う。
  論文  参考訳（メタデータ） (2024-06-19T17:11:51Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
  本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。 まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
  論文  参考訳（メタデータ） (2023-07-12T06:32:51Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。