Fugu-MT 論文翻訳(概要): Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study

論文の概要: Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study

arxiv url: http://arxiv.org/abs/2309.08221v1
Date: Fri, 15 Sep 2023 07:41:33 GMT
ステータス: 処理完了
システム内更新日: 2023-10-23 07:27:37.613317
Title: Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study
Title（参考訳）: 自動コードリファインメントにおけるChatGPTの可能性を探る:実証的研究
Authors: Qi Guo (Tianjin University), Junming Cao (Fudan University), Xiaofei Xie (Singapore Management University), Shangqing Liu (Nanyang Technological University), Xiaohong Li (Tianjin University), Bihuan Chen (Fudan University), Xin Peng (Fudan University)
Abstract要約: 最先端の言語モデルであるChatGPTは、様々な自然言語処理タスクにおいて印象的なパフォーマンスを示している。コードレビュータスクにおけるChatGPTの機能を理解するための実証的研究を行った。その結果,ChatGPTは高いEMとBLEUのスコアを22.78と76.44で達成し,最先端のコードレビューデータセットでは15.50と62.88しか達成していないことがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Code review is an essential activity for ensuring the quality and maintainability of software projects. However, it is a time-consuming and often error-prone task that can significantly impact the development process. Recently, ChatGPT, a cutting-edge language model, has demonstrated impressive performance in various natural language processing tasks, suggesting its potential to automate code review processes. However, it is still unclear how well ChatGPT performs in code review tasks. To fill this gap, in this paper, we conduct the first empirical study to understand the capabilities of ChatGPT in code review tasks, specifically focusing on automated code refinement based on given code reviews. To conduct the study, we select the existing benchmark CodeReview and construct a new code review dataset with high quality. We use CodeReviewer, a state-of-the-art code review tool, as a baseline for comparison with ChatGPT. Our results show that ChatGPT outperforms CodeReviewer in code refinement tasks. Specifically, our results show that ChatGPT achieves higher EM and BLEU scores of 22.78 and 76.44 respectively, while the state-of-the-art method achieves only 15.50 and 62.88 on a high-quality code review dataset. We further identify the root causes for ChatGPT's underperformance and propose several strategies to mitigate these challenges. Our study provides insights into the potential of ChatGPT in automating the code review process, and highlights the potential research directions.
Abstract（参考訳）: コードレビューは、ソフトウェアプロジェクトの品質と保守性を保証するための重要な活動である。しかし、それは時間がかかり、しばしばエラーを起こしやすいタスクであり、開発プロセスに大きな影響を与えます。最近、最先端言語モデルであるchatgptは、様々な自然言語処理タスクで印象的なパフォーマンスを示し、コードレビュープロセスを自動化する可能性を示唆している。しかし、ChatGPTがコードレビュータスクでどの程度うまく機能するかはまだ不明である。このギャップを埋めるため,本稿では,コードレビュータスクにおけるchatgptの機能を理解するための最初の実証研究を行い,特に与えられたコードレビューに基づいたコードリファインメントの自動化に注目する。本研究では,既存のベンチマークであるCodeReviewを選択し,高品質なコードレビューデータセットを構築する。最先端のコードレビューツールであるcodereviewerを、chatgptと比較するためのベースラインとして使用しています。以上の結果から,ChatGPTはコードリファインメントタスクにおいてCodeReviewerよりも優れていた。具体的には、ChatGPTはより高いEMとBLEUのスコアを22.78と76.44で達成し、最先端のコードレビューデータセットでは15.50と62.88しか達成していないことを示す。さらに、chatgptの低性能化の根本原因を特定し、これらの課題を軽減するためのいくつかの戦略を提案する。本研究は,コードレビュープロセスの自動化におけるChatGPTの可能性について考察し,今後の研究方向性を明らかにする。

関連論文リスト

Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文参考訳（メタデータ） (2023-11-11T11:01:13Z)
Assessing the Promise and Pitfalls of ChatGPT for Automated Code Generation [2.0400340435492272]
本稿では,著名な大規模言語モデルであるChatGPTのコード生成能力を総合的に評価する。 5つのカテゴリにまたがる131のコード生成プロンプトのデータセットをキュレートして、堅牢な分析を可能にした。コードソリューションはChatGPTと人間によってすべてのプロンプトで生成され、262のコードサンプルが得られた。
論文参考訳（メタデータ） (2023-11-05T12:56:40Z)
No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT [28.68768157452352]
本稿では,ChatGPTを用いたコード生成の質について検討する。私たちは5つの言語(C、C++、Java、Python、JavaScript)で728のアルゴリズム問題と、コード生成タスクの54のコードシナリオを持つ18のCWEを活用しています。この結果から,ChatGPTベースのコード生成に生じる潜在的な問題や限界が明らかになった。
論文参考訳（メタデータ） (2023-08-09T10:01:09Z)
Refining ChatGPT-Generated Code: Characterizing and Mitigating Code Quality Issues [17.7880460531813]
我々は2つの人気のあるプログラミング言語で実装された4,066個のChatGPT生成コードの品質を体系的に研究した。本稿では,ChatGPT生成コードの品質に関する潜在的な問題を同定し,特徴付ける。 ChatGPTはこれらの課題に部分的に対処でき、コード品質を20%以上改善していますが、まだ改善の余地と機会があります。
論文参考訳（メタデータ） (2023-07-24T08:14:22Z)
Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文参考訳（メタデータ） (2023-07-10T08:20:34Z)
Automatic Code Summarization via ChatGPT: How Far Are We? [10.692654700225411]
CSN-Pythonと呼ばれる広く使われているPythonデータセット上でChatGPTを評価する。 BLEUとROUGE-Lでは、ChatGPTのコード要約性能は3つのSOTAモデルと比べて著しく劣っている。この結果に基づき、ChatGPTベースのコード要約におけるいくつかのオープンな課題と機会を概説する。
論文参考訳（メタデータ） (2023-05-22T09:43:40Z)
ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。 2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文参考訳（メタデータ） (2023-04-27T11:33:48Z)
ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文参考訳（メタデータ） (2023-04-12T05:08:52Z)
Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文参考訳（メタデータ） (2023-03-07T16:57:20Z)
A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文参考訳（メタデータ） (2023-02-08T12:35:34Z)
Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。