論文の概要: Can We Enhance Bug Report Quality Using LLMs?: An Empirical Study of LLM-Based Bug Report Generation

• arxiv url: http://arxiv.org/abs/2504.18804v1
• Date: Sat, 26 Apr 2025 05:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.997235
• Title: Can We Enhance Bug Report Quality Using LLMs?: An Empirical Study of LLM-Based Bug Report Generation
• Title（参考訳）: LLMを用いたバグレポートの品質向上は可能か? : LLMに基づくバグレポート生成に関する実証的研究
• Authors: Jagrit Acharya, Gouri Ginde,
• Abstract要約: 本稿では,命令微調整された大規模言語モデル(LLM)が,手軽で非構造化のバグレポートを,標準テンプレートに固執する高品質なバグレポートに自動変換できるかどうかを考察する。 我々は、ChatGPT-4oに対して3つのオープンソースの命令チューニングLDM(emphQwen 2.5, Mistral, Llama 3.2)を評価し、CTQRS、ROUGE、METEOR、SBERTなどの確立されたメトリクスの性能を測定した。 実験の結果,細調整Qwen 2.5はCTQRSスコアがtextbf77%であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bug reports contain the information developers need to triage and fix software bugs. However, unclear, incomplete, or ambiguous information may lead to delays and excessive manual effort spent on bug triage and resolution. In this paper, we explore whether Instruction fine-tuned Large Language Models (LLMs) can automatically transform casual, unstructured bug reports into high-quality, structured bug reports adhering to a standard template. We evaluate three open-source instruction-tuned LLMs (\emph{Qwen 2.5, Mistral, and Llama 3.2}) against ChatGPT-4o, measuring performance on established metrics such as CTQRS, ROUGE, METEOR, and SBERT. Our experiments show that fine-tuned Qwen 2.5 achieves a CTQRS score of \textbf{77%}, outperforming both fine-tuned Mistral (\textbf{71%}), Llama 3.2 (\textbf{63%}) and ChatGPT in 3-shot learning (\textbf{75%}). Further analysis reveals that Llama 3.2 shows higher accuracy of detecting missing fields particularly Expected Behavior and Actual Behavior, while Qwen 2.5 demonstrates superior performance in capturing Steps-to-Reproduce, with an F1 score of 76%. Additional testing of the models on other popular projects (e.g., Eclipse, GCC) demonstrates that our approach generalizes well, achieving up to \textbf{70%} CTQRS in unseen projects' bug reports. These findings highlight the potential of instruction fine-tuning in automating structured bug report generation, reducing manual effort for developers and streamlining the software maintenance process.
• Abstract（参考訳）: バグレポートには、ソフトウェアバグのトリアージと修正に必要な情報が含まれている。 しかし、不明確、不完全、曖昧な情報は、バグのトリアージと解決に費やされた遅延や過度な手作業につながる可能性がある。 本稿では,インストラクションの微調整型大言語モデル (LLM) が,カジュアルで非構造化のバグレポートを,標準テンプレートに固執した高品質なバグレポートに自動変換できるかどうかを考察する。 我々は、ChatGPT-4oに対して3つのオープンソースの命令調整LDM(\emph{Qwen 2.5, Mistral, Llama 3.2})を評価し、CTQRS、ROUGE、METEOR、SBERTなどの確立されたメトリクスの性能を測定した。 実験の結果,微調整したQwen 2.5はCTQRSスコアの \textbf{77%} を達成し,微調整したMistral(\textbf{71%}),Llama 3.2(\textbf{63%}),ChatGPT(\textbf{75%})を3ショット学習(\textbf{75%})で比較した。 さらに分析したところ、Llama 3.2は特に期待される行動と実行動の欠落を検出する精度が高く、Qwen 2.5はF1スコアの76%でSteps-to-Reproduceを捕捉する際の優れた性能を示した。 他の人気のあるプロジェクト(Eclipse、GCCなど)におけるモデルのさらなるテストは、我々のアプローチがうまく一般化し、目に見えないプロジェクトのバグレポートで \textbf{70%} CTQRSに達することを実証している。 これらの知見は、構造化バグレポートの自動生成における命令の微調整の可能性、開発者の手作業の削減、ソフトウェアメンテナンスプロセスの合理化を浮き彫りにした。

関連論文リスト

• Automated Bug Report Prioritization in Large Open-Source Projects [3.9134031118910264]
  本稿では,バグレポートの自然言語テキストに基づく自動バグ優先順位付け手法を提案する。 我々は、TopicMiner-MTMと呼ばれるLDAの変種を用いてトピックモデリングを行い、BERT大言語モデルを用いてテキスト分類を行う。 Eclipse Platformプロジェクトの85,156のバグレポートを含む既存のリファレンスデータセットを用いた実験結果から、バグレポートの優先度予測の正確性、正確性、リコール、F1測定の点で、既存のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2025-04-22T13:57:48Z)
• LLPut: Investigating Large Language Models for Bug Report-Based Input Generation [0.0]
  エラーを引き起こすインプットは、ソフトウェアバグの診断と分析において重要な役割を担います。 従来の研究では、様々な自然言語処理(NLP)技術を利用して自動入力抽出を行っている。 大規模言語モデル (LLMs) の出現により、重要な研究課題が生じる: ジェネレーティブLLMは、バグレポートから障害誘発インプットを効果的に抽出できるのか?
  論文  参考訳（メタデータ） (2025-03-26T14:25:01Z)
• Improved IR-based Bug Localization with Intelligent Relevance Feedback [2.9312156642007294]
  ソフトウェアバグは、開発とメンテナンスにおいて重大な課題となり、実践者は、バグを扱うのに約50%の時間を費やします。 既存の多くのテクニックでは、バグレポートとソースコードの間のテキストおよび意味的関連性を使用して、報告されたバグをローカライズするために、Information Retrieval (IR)を採用している。 本稿では,バグレポートとコードの関連性を評価することによって,コンテキストギャップに対処する新たなバグローカライゼーション手法であるBRaInを提案する。
  論文  参考訳（メタデータ） (2025-01-17T20:29:38Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)
• Large Language Models are Few-shot Testers: Exploring LLM-based General Bug Reproduction [14.444294152595429]
  問題によりオープンソースリポジトリに追加されたテストの数は、対応するプロジェクトテストスイートサイズの約28%であった。 本稿では,Large Language Models (LLMs) を用いたLIBROを提案する。 LIBROの評価は、広く研究されているDefects4Jベンチマークにおいて、全ての研究ケースの33%で障害再現テストケースを生成することができることを示している。
  論文  参考訳（メタデータ） (2022-09-23T10:50:47Z)
• Automatic Classification of Bug Reports Based on Multiple Text Information and Reports' Intention [37.67372105858311]
  本稿では,バグレポートの自動分類手法を提案する。 イノベーションは、バグレポートを分類する際に、レポートのテキスト情報に加えて、レポートの意図も考慮することである。 提案手法は性能が向上し,F-Measureは87.3%から95.5%に向上した。
  論文  参考訳（メタデータ） (2022-08-02T06:44:51Z)
• S3M: Siamese Stack (Trace) Similarity Measure [55.58269472099399]
  本稿では、深層学習に基づくスタックトレースの類似性を計算する最初のアプローチであるS3Mを紹介します。 BiLSTMエンコーダと、類似性を計算するための完全接続型分類器をベースとしている。 私たちの実験は、オープンソースデータとプライベートなJetBrainsデータセットの両方において、最先端のアプローチの優位性を示しています。
  論文  参考訳（メタデータ） (2021-03-18T21:10:41Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。