論文の概要: Beyond LLMs: An Exploration of Small Open-source Language Models in Logging Statement Generation

• arxiv url: http://arxiv.org/abs/2505.16590v1
• Date: Thu, 22 May 2025 12:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.278088
• Title: Beyond LLMs: An Exploration of Small Open-source Language Models in Logging Statement Generation
• Title（参考訳）: LLMを超えて - ロギングステートメント生成における小さなオープンソース言語モデルの探索
• Authors: Renyi Zhong, Yichen Li, Guangba Yu, Wenwei Gu, Jinxi Kuang, Yintong Huo, Michael R. Lyu,
• Abstract要約: 本稿では,SOLM(Small Open-source Language Models)が適切な利用を通じて有効な代替手段になるかどうかを実証的に検討する。 具体的には、4つのSOLMの大規模実験を行い、様々な相互作用戦略の影響を体系的に評価する。 我々の重要な知見は、検索・拡張生成は性能を大幅に向上し、LoRAは高効率なPEFT技術であることを示している。
• 参考スコア（独自算出の注目度）: 28.884070374408203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective software maintenance heavily relies on high-quality logging statements, but manual logging is challenging, error-prone, and insufficiently standardized, often leading to inconsistent log quality. While large language models have shown promise in automatic logging, they introduce concerns regarding privacy, resource intensity, and adaptability to specific enterprise needs. To tackle these limitations, this paper empirically investigates whether Small Open-source Language Models (SOLMs) could become a viable alternative via proper exploitation. Specifically, we conduct a large-scale empirical study on four prominent SOLMs, systematically evaluating the impacts of various interaction strategies, parameter-efficient fine-tuning techniques, model sizes, and model types in automatic logging. Our key findings reveal that Retrieval-Augmented Generation significantly enhances performance, and LoRA is a highly effective PEFT technique. While larger SOLMs tend to perform better, this involves a trade-off with computational resources, and instruct-tuned SOLMs generally surpass their base counterparts. Notably, fine-tuned SOLMs, particularly Qwen2.5-coder-14B, outperformed existing specialized tools and LLM baselines in accurately predicting logging locations and generating high-quality statements, a conclusion supported by traditional evaluation metrics and LLM-as-a-judge evaluations. Furthermore, SOLMs also demonstrated robust generalization across diverse, unseen code repositories.
• Abstract（参考訳）: 効果的なソフトウェアメンテナンスは、高品質なロギングステートメントに大きく依存していますが、手動のロギングは困難で、エラーが発生し、不十分に標準化されています。 大規模な言語モデルでは自動ロギングが約束されているが、プライバシ、リソースの強度、特定の企業ニーズへの適応性に関する懸念が導入されている。 これらの制約に対処するため,本論文では,SOLM(Small Open-source Language Models)が適切な活用によって有効な代替手段になるかどうかを実証的に検討する。 具体的には, 4つのSOLMの大規模実験を行い, 各種インタラクション戦略, パラメータ効率向上技術, モデルサイズ, モデルタイプの影響を系統的に評価する。 我々の重要な知見は、検索・拡張生成は性能を大幅に向上し、LoRAは高効率なPEFT技術であることを示している。 より大きなSOLMは性能が良くなるが、これは計算資源とのトレードオフを伴う。 特に、細調整されたSOLM、特にQwen2.5-coder-14Bは、ロギング位置を正確に予測し、高品質なステートメントを生成するため、既存の特殊なツールとLCMベースラインを上回った。 さらに、SOLMは多様な、目に見えないコードリポジトリをまたいだ堅牢な一般化も示した。

関連論文リスト

• System Log Parsing with Large Language Models: A Review [2.2779174914142346]
  大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。 有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。 この研究は29 LLMベースのログ解析手法を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-04-07T09:41:04Z)
• AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model [42.72663245137984]
  本稿では、AdaptiveLogとして知られる適応ログ分析フレームワークを紹介する。 優れた結果を確保しつつ、LLMに関連するコストを効果的に削減する。 実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-01-19T12:46:01Z)
• Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
  大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
  論文  参考訳（メタデータ） (2024-10-11T03:52:17Z)
• Comparison of Open-Source and Proprietary LLMs for Machine Reading Comprehension: A Practical Analysis for Industrial Applications [0.0]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)アプリケーションで顕著な性能を示した。 本稿では,オープンソースLLMとプロプライエタリモデルの比較分析を行う。
  論文  参考訳（メタデータ） (2024-06-19T17:11:51Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
  本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。 まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
  論文  参考訳（メタデータ） (2023-07-12T06:32:51Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。