論文の概要: Can LLMs Demystify Bug Reports?

• arxiv url: http://arxiv.org/abs/2310.06310v1
• Date: Tue, 10 Oct 2023 05:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 03:43:21.729762
• Title: Can LLMs Demystify Bug Reports?
• Title（参考訳）: LLMはバグレポートをデミスティフィケートできるか?
• Authors: Laura Plein, Tegawend\'e F. Bissyand\'e
• Abstract要約: ChatGPTは報告されたバグの50%を解読し、再現することができた。 報告されたバグの半数に自動的に対処できることは、バグに対処するために機械学習を適用することで、バグを報告できるのは人力のみである、という有望な可能性を示している。
• 参考スコア（独自算出の注目度）: 0.6650227510403052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bugs are notoriously challenging: they slow down software users and result in time-consuming investigations for developers. These challenges are exacerbated when bugs must be reported in natural language by users. Indeed, we lack reliable tools to automatically address reported bugs (i.e., enabling their analysis, reproduction, and bug fixing). With the recent promises created by LLMs such as ChatGPT for various tasks, including in software engineering, we ask ourselves: What if ChatGPT could understand bug reports and reproduce them? This question will be the main focus of this study. To evaluate whether ChatGPT is capable of catching the semantics of bug reports, we used the popular Defects4J benchmark with its bug reports. Our study has shown that ChatGPT was able to demystify and reproduce 50% of the reported bugs. ChatGPT being able to automatically address half of the reported bugs shows promising potential in the direction of applying machine learning to address bugs with only a human-in-the-loop to report the bug.
• Abstract（参考訳）: バグは、ソフトウェアユーザを遅くし、結果として開発者の調査に時間がかかります。 これらの課題は、ユーザーが自然言語でバグを報告しなければならない場合に悪化する。 実際、報告されたバグ(すなわち、解析、再現、バグ修正を可能にする)を自動的に対処するための信頼できるツールが欠けている。 ソフトウェアエンジニアリングを含むさまざまなタスクでChatGPTのようなLLMが最近約束しているように、私たちは自問します。 ChatGPTがバグレポートを理解してそれを再現できるとしたらどうでしょう? この質問は、この研究の主要な焦点となるだろう。 ChatGPTがバグレポートのセマンティクスをキャッチできるかどうかを評価するために、人気のあるDefects4Jベンチマークをバグレポートで使用しました。 以上の結果から,ChatGPTは報告されたバグの50%を脱線・再生することができた。 報告されたバグの半分に自動的に対処できるChatGPTは、バグに対処するために機械学習を適用することで、バグを報告できるのは人手のみである、という有望な可能性を示している。

関連論文リスト

• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Primacy Effect of ChatGPT [69.49920102917598]
  本稿では,ChatGPTの優位性について検討する。 実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
  論文  参考訳（メタデータ） (2023-10-20T00:37:28Z)
• Bugsplainer: Leveraging Code Structures to Explain Software Bugs with Neural Machine Translation [4.519754139322585]
  Bugsplainerは、バグ修正コミットの大規模なコーパスから学ぶことによって、ソフトウェアバグの自然言語説明を生成する。 Bugsplainerはバグを推論するためにコード構造を利用し、テキスト生成モデルの微調整バージョンであるCodeT5を採用している。
  論文  参考訳（メタデータ） (2023-08-23T17:35:16Z)
• Prompting Is All You Need: Automated Android Bug Replay with Large Language Models [28.69675481931385]
  本稿では,バグ報告から迅速なエンジニアリングを通じてバグを自動的に再現する,新しい軽量なアプローチであるAdbGPTを提案する。 AdbGPTは、LLMから人間の知識と論理的推論を引き出すために、少数ショットの学習と連鎖推論を活用する。 この評価は,253.6秒で81.3%のバグレポートを再現するAdbGPTの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2023-06-03T03:03:52Z)
• ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
  ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。 既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
  論文  参考訳（メタデータ） (2023-04-27T11:33:48Z)
• Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine [97.8609714773255]
  機械翻訳におけるChatGPTの評価には,翻訳プロンプト,多言語翻訳,翻訳堅牢性などが含まれる。 ChatGPTは商用翻訳製品と競合するが、低リソースや遠方の言語では遅れている。 GPT-4エンジンの打ち上げにより、ChatGPTの翻訳性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-01-20T08:51:36Z)
• App Review Driven Collaborative Bug Finding [5.024930832959602]
  我々は、同じカテゴリーのモバイルアプリが、進化過程における同様のバグによって影響を受ける可能性があるという仮説に基づいて構築する。 ある履歴アプリの体験を移して、新しいアプリのバグを素早く見つけることができる。 我々は、BugRMSysアプローチを設計し、同じカテゴリのアプリの履歴バグレポートとターゲットアプリのユーザアプリレビューをマッチングすることで、ターゲットアプリのバグレポートを推奨する。
  論文  参考訳（メタデータ） (2023-01-07T09:38:06Z)
• Explaining Software Bugs Leveraging Code Structures in Neural Machine Translation [5.079750706023254]
  Bugsplainerは、バグ修正コミットの大規模なコーパスから学ぶことによって、ソフトウェアバグの自然言語説明を生成する。 3つのパフォーマンス指標を用いて評価したところ、BugsplainerはGoogleの標準に従って理解しやすく良い説明を生成できることがわかった。 また、Bugsplainerによる説明がベースラインよりも正確で、より正確で、より有用であることが判明した、20人の参加者を対象にした開発者スタディも実施しました。
  論文  参考訳（メタデータ） (2022-12-08T22:19:45Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。