論文の概要: An Empirical Study on the Capability of LLMs in Decomposing Bug Reports

• arxiv url: http://arxiv.org/abs/2504.20911v1
• Date: Tue, 29 Apr 2025 16:29:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.989783
• Title: An Empirical Study on the Capability of LLMs in Decomposing Bug Reports
• Title（参考訳）: バグレポートの分解におけるLCMの能力に関する実証的研究
• Authors: Zhiyuan Chen, Vanessa Nava-Camal, Ahmad Suleiman, Yiming Tang, Daqing Hou, Weiyi Shang,
• Abstract要約: 本研究では,大規模言語モデル(LLM)が,複雑なバグレポートを自動的に,より小さく自己完結したユニットに分解するのに役立つかどうかを検討する。 我々はApache Jiraから収集した127件のプライバシー関連バグレポートについて実証的研究を行った。
• 参考スコア（独自算出の注目度）: 9.544728752295269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Bug reports are essential to the software development life cycle. They help developers track and resolve issues, but are often difficult to process due to their complexity, which can delay resolution and affect software quality. Aims: This study investigates whether large language models (LLMs) can assist developers in automatically decomposing complex bug reports into smaller, self-contained units, making them easier to understand and address. Method: We conducted an empirical study on 127 resolved privacy-related bug reports collected from Apache Jira. We evaluated ChatGPT and DeepSeek using different prompting strategies. We first tested both LLMs with zero-shot prompts, then applied improved prompts with demonstrations (using few-shot prompting) to measure their abilities in bug decomposition. Results: Our findings show that LLMs are capable of decomposing bug reports, but their overall performance still requires further improvement and strongly depends on the quality of the prompts. With zero-shot prompts, both studied LLMs (ChatGPT and DeepSeek) performed poorly. After prompt tuning, ChatGPT's true decomposition rate increased by 140\% and DeepSeek's by 163.64\%. Conclusions: LLMs show potential in helping developers analyze and decompose complex bug reports, but they still need improvement in terms of accuracy and bug understanding.
• Abstract（参考訳）: 背景: バグレポートはソフトウェア開発ライフサイクルに不可欠です。 開発者は問題を追跡して解決するのに役立つが、その複雑さのために処理が難しい場合が少なく、解決を遅らせたり、ソフトウェアの品質に影響することがある。 Aims: 大規模な言語モデル(LLM)が、複雑なバグレポートを自動的に小さな、自己完結したユニットに分解し、理解しやすくするのに役立つかどうかを調査します。 方法:我々はApache Jiraから収集した127件のプライバシー関連バグレポートについて実証的研究を行った。 異なるプロンプト戦略を用いてChatGPTとDeepSeekを評価した。 まず、ゼロショットプロンプトで両方のLSMをテストし、その後、改善されたプロンプトをデモ(ほとんどショットプロンプトを使って)で適用して、バグの分解におけるそれらの能力を測定しました。 結果: LLMはバグレポートを分解できるが, 全体的な性能は改善が必要であり, プロンプトの品質に強く依存している。 ゼロショットプロンプトでは、どちらもLLM(ChatGPTとDeepSeek)が不十分であった。 迅速なチューニングの後、ChatGPTの真の分解率は140\%、DeepSeekの163.64\%増加した。 結論: LLMは、開発者が複雑なバグレポートを分析して分解するのを手助けする可能性を示しているが、精度とバグ理解に関してはまだ改善が必要である。

関連論文リスト

• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• LLPut: Investigating Large Language Models for Bug Report-Based Input Generation [0.0]
  エラーを引き起こすインプットは、ソフトウェアバグの診断と分析において重要な役割を担います。 従来の研究では、様々な自然言語処理(NLP)技術を利用して自動入力抽出を行っている。 大規模言語モデル (LLMs) の出現により、重要な研究課題が生じる: ジェネレーティブLLMは、バグレポートから障害誘発インプットを効果的に抽出できるのか?
  論文  参考訳（メタデータ） (2025-03-26T14:25:01Z)
• LLMs are Bug Replicators: An Empirical Study on LLMs' Capability in Completing Bug-prone Code [24.048639099281324]
  大規模言語モデル(LLM)は、コード補完において顕著なパフォーマンスを示している。 本稿では,LLMがバグ発生コードを完成させる際の性能を評価するための,最初の実証的研究について述べる。
  論文  参考訳（メタデータ） (2025-03-14T04:48:38Z)
• PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing [34.768989900184636]
  バグ修正は、ソフトウェア開発とメンテナンスにおいて重要な意味を持つ。 最近の研究は、ソフトウェアバグを自動的に解決する大規模言語モデル(LLM)の可能性を探ることに大きく貢献している。
  論文  参考訳（メタデータ） (2025-01-27T15:43:04Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
  大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
  論文  参考訳（メタデータ） (2024-10-30T17:02:54Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• Look Before You Leap: A Universal Emergent Decomposition of Retrieval Tasks in Language Models [58.57279229066477]
  本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。 ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。 LMは内部的にモジュール方式で検索タスクを分解する。
  論文  参考訳（メタデータ） (2023-12-13T18:36:43Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• A Critical Review of Large Language Model on Software Engineering: An Example from ChatGPT and Automated Program Repair [19.123640635549524]
  大規模言語モデル(LLM)が注目され、様々なソフトウェアエンジニアリングタスクで有望なパフォーマンスを示した。 本稿では,ChatGPTのバグ修正機能について,研究目的の異なるクリーンAPRベンチマークで概説する。 ChatGPTは、35ラウンド以内の基本的なプロンプトを使用して151のバグギープログラムのうち109を修正でき、最先端のLLM CodeT5とPLBARTを27.5%、予測精度62.4%で上回っている。
  論文  参考訳（メタデータ） (2023-10-13T06:11:47Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Large Language Models are Few-shot Testers: Exploring LLM-based General Bug Reproduction [14.444294152595429]
  問題によりオープンソースリポジトリに追加されたテストの数は、対応するプロジェクトテストスイートサイズの約28%であった。 本稿では,Large Language Models (LLMs) を用いたLIBROを提案する。 LIBROの評価は、広く研究されているDefects4Jベンチマークにおいて、全ての研究ケースの33%で障害再現テストケースを生成することができることを示している。
  論文  参考訳（メタデータ） (2022-09-23T10:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。