論文の概要: Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks?

• arxiv url: http://arxiv.org/abs/2405.12641v2
• Date: Thu, 28 Nov 2024 09:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:17:19.838091
• Title: Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks?
• Title（参考訳）: 火で戦う:ChatGPTをどの程度信頼できるのか?
• Authors: Xiao Yu, Lei Liu, Xing Hu, Jacky Wai Keung, Jin Liu, Xin Xia,
• Abstract要約: 近年の研究では、ChatGPTを開発者とテスターの両方に活用することを提案した。 コード生成,コード補完,プログラム修復におけるChatGPTの自己検証能力を評価するための総合的な実証的研究を行う。
• 参考スコア（独自算出の注目度）: 10.389763758883975
• License:
• Abstract: With the increasing utilization of large language models such as ChatGPT during software development, it has become crucial to verify the quality of code content it generates. Recent studies proposed utilizing ChatGPT as both a developer and tester for multi-agent collaborative software development. The multi-agent collaboration empowers ChatGPT to produce test reports for its generated code, enabling it to self-verify the code content and fix bugs based on these reports. However, these studies did not assess the effectiveness of the generated test reports in validating the code. Therefore, we conduct a comprehensive empirical investigation to evaluate ChatGPT's self-verification capability in code generation, code completion, and program repair. We request ChatGPT to (1) generate correct code and then self-verify its correctness; (2) complete code without vulnerabilities and then self-verify for the presence of vulnerabilities; and (3) repair buggy code and then self-verify whether the bugs are resolved. Our findings on two code generation datasets, one code completion dataset, and two program repair datasets reveal the following observations: (1) ChatGPT often erroneously predicts its generated incorrect code as correct. (2) The self-contradictory hallucinations in ChatGPT's behavior arise. (3) The self-verification capability of ChatGPT can be enhanced by asking the guiding question, which queries whether ChatGPT agrees with assertions about incorrectly generated or repaired code and vulnerabilities in completed code. (4) Using test reports generated by ChatGPT can identify more vulnerabilities in completed code, but the explanations for incorrectly generated code and failed repairs are mostly inaccurate in the test reports. Based on these findings, we provide implications for further research or development using ChatGPT.
• Abstract（参考訳）: ソフトウェア開発におけるChatGPTのような大規模言語モデルの利用の増加に伴い、生成するコードコンテンツの品質を検証することが重要になっている。 近年の研究では、ChatGPTを開発者とテスターの両方に活用して、マルチエージェント共同ソフトウェア開発を提案する。 マルチエージェントコラボレーションにより、ChatGPTは生成されたコードのテストレポートを生成することができ、コード内容の自己検証と、これらのレポートに基づいたバグ修正が可能になる。 しかし、これらの研究は、コード検証において生成されたテストレポートの有効性を評価しなかった。 そこで我々は,ChatGPTのコード生成,コード補完,プログラム修復における自己検証能力を評価するための総合的研究を行った。 ChatGPTに、(1)正しいコードを生成し、その正しさを自己検証し、(2)脆弱性のない完全なコードを自己検証し、(3)バグのあるコードを修復し、それからバグが解決されたかどうかを自己検証するように要求する。 2つのコード生成データセット,1つのコード補完データセット,および2つのプログラム修復データセットから得られた知見は,(1)ChatGPTが生成した誤りコードを正しく予測することが多かった。 2) ChatGPTの行動における自己矛盾性幻覚が出現した。 (3) ChatGPTの自己検証能力は、ChatGPTが誤って生成されたか、あるいは修正されたコードや、完了したコードの脆弱性に関するアサーションに同意しているかどうかを問うガイド質問によって向上することができる。 (4) ChatGPTが生成したテストレポートを使用することで、完了したコードにより多くの脆弱性を特定できるが、誤って生成されたコードと修正失敗の説明は、テストレポートで大半が不正確である。 これらの知見に基づき,ChatGPTを用いたさらなる研究や開発について考察する。

関連論文リスト

• Investigating the Utility of ChatGPT in the Issue Tracking System: An Exploratory Study [5.176434782905268]
  本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。 私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
  論文  参考訳（メタデータ） (2024-02-06T06:03:05Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Can ChatGPT support software verification? [0.9668407688201361]
  ループ不変量で106個のCプログラムにアノテートするようChatGPTに依頼する。 本稿では,Frama-C と CPA Checker の2つの検証器に渡すことで,生成した不変量の妥当性と有用性を確認する。 評価の結果,ChatGPTはFrama-Cがこれまで解決できなかったタスクを検証できる有効かつ有用な不変量を生成することができることがわかった。
  論文  参考訳（メタデータ） (2023-11-04T15:25:18Z)
• Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study [0.0]
  最先端の言語モデルであるChatGPTは、様々な自然言語処理タスクにおいて印象的なパフォーマンスを示している。 コードレビュータスクにおけるChatGPTの機能を理解するための実証的研究を行った。 その結果,ChatGPTは高いEMとBLEUのスコアを22.78と76.44で達成し,最先端のコードレビューデータセットでは15.50と62.88しか達成していないことがわかった。
  論文  参考訳（メタデータ） (2023-09-15T07:41:33Z)
• FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
  より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。 大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:51Z)
• Refining ChatGPT-Generated Code: Characterizing and Mitigating Code Quality Issues [17.7880460531813]
  我々は2つの人気のあるプログラミング言語で実装された4,066個のChatGPT生成コードの品質を体系的に研究した。 本稿では,ChatGPT生成コードの品質に関する潜在的な問題を同定し,特徴付ける。 ChatGPTはこれらの課題に部分的に対処でき、コード品質を20%以上改善していますが、まだ改善の余地と機会があります。
  論文  参考訳（メタデータ） (2023-07-24T08:14:22Z)
• Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
  本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。 この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
  論文  参考訳（メタデータ） (2023-07-10T08:20:34Z)
• ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
  ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。 既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
  論文  参考訳（メタデータ） (2023-04-27T11:33:48Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
  大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。 特にChatGPTは,広く利用されており,アクセスしやすいLLMである。 我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
  論文  参考訳（メタデータ） (2023-03-29T03:05:43Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。