論文の概要: Where Are Large Language Models for Code Generation on GitHub?
- arxiv url: http://arxiv.org/abs/2406.19544v1
- Date: Thu, 27 Jun 2024 21:47:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 18:22:04.921787
- Title: Where Are Large Language Models for Code Generation on GitHub?
- Title（参考訳）: GitHub上のコード生成のための大規模言語モデルはどこにあるのか?
- Authors: Xiao Yu, Lei Liu, Xing Hu, Jacky Wai Keung, Jin Liu, Xin Xia,
- Abstract要約: ChatGPTとCopilotは、GitHub上でコードを生成するために最も頻繁に使用される。
ほとんどのChatGPT/Copilot生成コードスニペットは比較的短く、複雑さが低い。
バグによる修正は、さまざまな言語でわずか3%から8%まで、さらに少ない。
- 参考スコア（独自算出の注目度）: 10.389763758883975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing use of Large Language Models (LLMs) in software development has garnered significant attention from researchers assessing the quality of the code they generate. However, much of the research focuses on controlled datasets such as HumanEval, which fail to adequately represent how developers actually utilize LLMs' code generation capabilities or clarify the characteristics of LLM-generated code in real-world development scenarios. To bridge this gap, our study investigates the characteristics of LLM-generated code and its corresponding projects hosted on GitHub. Our findings reveal several key insights: (1) ChatGPT and Copilot are the most frequently utilized for generating code on GitHub. In contrast, there is very little code generated by other LLMs on GitHub. (2) Projects containing ChatGPT/Copilot-generated code are often small and less known, led by individuals or small teams. Despite this, most projects are continuously evolving and improving. (3) ChatGPT/Copilot is mainly utilized for generating Python, Java, and TypeScript scripts for data processing and transformation. C/C++ and JavaScript code generation focuses on algorithm and data structure implementation and user interface code. Most ChatGPT/Copilot-generated code snippets are relatively short and exhibit low complexity. (4) Compared to human-written code, ChatGPT/Copilot-generated code exists in a small proportion of projects and generally undergoes fewer modifications. Additionally, modifications due to bugs are even fewer, ranging from just 3% to 8% across different languages. (5) Most comments on ChatGPT/Copilot-generated code lack detailed information, often only stating the code's origin without mentioning prompts, human modifications, or testing status. Based on these findings, we discuss the implications for researchers and practitioners.
- Abstract（参考訳）: ソフトウェア開発におけるLarge Language Models(LLM)の利用の増加は、彼らが生成するコードの品質を評価する研究者から大きな注目を集めている。
しかし、研究の多くはHumanEvalのような制御されたデータセットに焦点を当てており、開発者はLLMのコード生成機能をどのように活用するかを適切に表現したり、実際の開発シナリオにおいてLLMの生成するコードの特徴を明らかにすることができない。
このギャップを埋めるために,本研究では,LLM生成コードの特徴と,GitHubにホストされている対応するプロジェクトについて検討した。
1) ChatGPTとCopilotは、GitHub上でコードを生成するのに最も頻繁に使用される。
対照的に、GitHub上の他のLLMによって生成されるコードはほとんどない。
2) ChatGPT/Copilot生成コードを含むプロジェクトは、個人または小規模チームが主導する、小さく、あまり知られていないことが多い。
それにもかかわらず、ほとんどのプロジェクトは継続的に進化し、改善しています。
(3) ChatGPT/Copilotは主に、データ処理と変換のためにPython、Java、TypeScriptスクリプトを生成するために使用される。
C/C++とJavaScriptのコード生成は、アルゴリズムとデータ構造の実装とユーザーインターフェイスのコードに焦点を当てている。
ほとんどのChatGPT/Copilot生成コードスニペットは比較的短く、複雑さが低い。
(4) 人書きコードと比べ、ChatGPT/Copilot生成コードは少数のプロジェクトで存在し、一般的には変更が少ない。
さらに、バグによる修正は、さまざまな言語でわずか3%から8%まで、さらに少ない。
(5) ChatGPT/Copilot生成コードに関するほとんどのコメントは詳細な情報がなく、しばしばプロンプトや人間の修正、テストステータスに言及せずにコードの起源を記述しているだけである。
これらの知見に基づき、研究者や実践者への影響について論じる。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions [13.58143103712]
GitHub Copilotは、LLM(Big Language Model)ベースのコード生成ツールである。
本稿では,Copilotが生成したコードを開発者がどのように検証し,修復するかを検討する。
コードの存在を認識したことにより、パフォーマンスの向上、検索努力の向上、コパイロットの使用頻度の向上、認知作業負荷の向上につながった。
論文 参考訳（メタデータ） (2024-05-25T06:20:01Z) - Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。
有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。
LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
論文 参考訳（メタデータ） (2024-04-30T08:51:49Z) - Bugs in Large Language Models Generated Code: An Empirical Study [12.625305075672456]
コード用の大規模言語モデル(LLM)が最近注目を集めている。
人間書きのコードと同様、LLM生成コードはバグを起こしやすい。
本稿では,3つのLLMを用いて生成されたコードから収集した333個のバグのサンプルについて検討する。
論文 参考訳（メタデータ） (2024-03-13T20:12:01Z) - DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。
DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。
DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
論文 参考訳（メタデータ） (2024-01-12T06:51:30Z) - Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability
of Large Language Model Code Generation [8.575560293086289]
大規模言語モデル(LLM)は、自然言語を理解し、プログラミングコードを生成する素晴らしい能力を示している。
生成されたコードにおけるAPIの誤用は、リソースリークやプログラムクラッシュといった深刻な問題を引き起こす可能性がある。
論文 参考訳（メタデータ） (2023-08-20T18:36:28Z) - Analysis of ChatGPT on Source Code [1.3381749415517021]
本稿では,大規模言語モデル(LLM),特にプログラミング,ソースコード解析,コード生成におけるChatGPTの利用について検討する。
LLMとChatGPTは機械学習と人工知能の技術を使って構築されており、開発者とプログラマにいくつかの利点を提供している。
論文 参考訳（メタデータ） (2023-06-01T12:12:59Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳（メタデータ） (2021-08-20T17:30:33Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。