論文の概要: Where Is Self-admitted Code Generated by Large Language Models on GitHub?
- arxiv url: http://arxiv.org/abs/2406.19544v4
- Date: Fri, 07 Nov 2025 09:09:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 14:53:49.366569
- Title: Where Is Self-admitted Code Generated by Large Language Models on GitHub?
- Title（参考訳）: GitHub上の大規模言語モデルによって生成された自己承認コードはどこにあるのか?
- Authors: Xiao Yu, Lei Liu, Xing Hu, Jin Liu, Xin Xia,
- Abstract要約: 本研究では,GitHub上のLarge Language Modelsによって生成された自己許容コードについて検討する。
ChatGPTとCopilotはコード生成を支配しており、他のLLMからのコントリビューションは最小限である。
ほとんどのコードコメントは LLM の使用しか記述していないが、プロンプトやヒューマン編集、コードテストステータスなどの詳細は少ない。
- 参考スコア（独自算出の注目度）: 14.13629953845785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing use of Large Language Models (LLMs) in software development has garnered significant attention from researchers evaluating the capabilities and limitations of LLMs for code generation. However, much of the research focuses on controlled datasets such as HumanEval, which do not adequately capture the characteristics of LLM-generated code in real-world development scenarios. To address this gap, our study investigates self-admitted code generated by LLMs on GitHub, specifically focusing on instances where developers in projects with over five stars acknowledge the use of LLMs to generate code through code comments. Our findings reveal several key insights: (1) ChatGPT and Copilot dominate code generation, with minimal contributions from other LLMs. (2) Projects containing ChatGPT/Copilot-generated code appears in small/medium-sized projects led by small teams, which are continuously evolving. (3) ChatGPT/Copilot-generated code generally is a minor project portion, primarily generating short/moderate-length, low-complexity snippets (e.g., algorithms and data structures code; text processing code). (4) ChatGPT/Copilot-generated code generally undergoes minimal modifications, with bug-related changes ranging from 4% to 12%. (5) Most code comments only state LLM use, while few include details like prompts, human edits, or code testing status. Based on these findings, we discuss the implications for researchers and practitioners.
- Abstract（参考訳）: ソフトウェア開発におけるLarge Language Models(LLM)の利用の増加は、コード生成のためのLLMの機能と限界を評価する研究者から大きな注目を集めている。
しかし、研究の多くはHumanEvalのような制御されたデータセットに焦点を当てており、実際の開発シナリオにおけるLLM生成コードの特徴を適切に捉えていない。
このギャップに対処するため、GitHub上でLLMが生成する自己承認コードを調べ、特に5つ以上のスターを持つプロジェクトの開発者が、コードコメントを通じてコードを生成するためにLLMを使用することを認めるインスタンスに焦点を当てた。
1) ChatGPT と Copilot がコード生成を支配し,他の LLM からのコントリビューションが最小限である。
2) ChatGPT/Copilot生成コードを含むプロジェクトは、小さなチームによって率いられた小規模/中規模のプロジェクトで、継続的な進化を続けている。
(3) ChatGPT/Copilot生成コードは、一般的に小さなプロジェクト部分であり、主にショート/モデレート、低複雑さのスニペットを生成する(例えば、アルゴリズムとデータ構造コード、テキスト処理コード)。
(4) ChatGPT/Copilot生成コードは、一般的に、4%から12%のバグ関連の変更で、最小限の変更を行う。
(5) ほとんどのコードコメントは LLM の使用しか記述していないが、プロンプトやヒューマン編集、コードテストのステータスといった詳細は少ない。
これらの知見に基づき、研究者や実践者への影響について論じる。
関連論文リスト
- IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Exploring the Potential of Llama Models in Automated Code Refinement: A Replication Study [2.930521532345053]
コードリファインメントタスクにおけるChatGPTの代替として、CodeLlamaとLlama 2.0の2つのオープンソース、小規模の大規模言語モデルについて検討する。
この結果から,Llamaモデルが適切に調整された場合,自動コード修正におけるChatGPTに匹敵する,合理的な性能が得られることがわかった。
我々の研究は、コード改善のためのオープンソースモデルの可能性を強調し、現実世界のソフトウェア開発にコスト効率が高くプライバシーに配慮したソリューションを提供する。
論文 参考訳（メタデータ） (2024-12-03T19:39:31Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions [13.58143103712]
GitHub Copilotは、LLM(Big Language Model)ベースのコード生成ツールである。
本稿では,Copilotが生成したコードを開発者がどのように検証し,修復するかを検討する。
コードの存在を認識したことにより、パフォーマンスの向上、検索努力の向上、コパイロットの使用頻度の向上、認知作業負荷の向上につながった。
論文 参考訳（メタデータ） (2024-05-25T06:20:01Z) - Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。
有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。
LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
論文 参考訳（メタデータ） (2024-04-30T08:51:49Z) - Bugs in Large Language Models Generated Code: An Empirical Study [12.625305075672456]
コード用の大規模言語モデル(LLM)が最近注目を集めている。
人間書きのコードと同様、LLM生成コードはバグを起こしやすい。
本稿では,3つのLLMを用いて生成されたコードから収集した333個のバグのサンプルについて検討する。
論文 参考訳（メタデータ） (2024-03-13T20:12:01Z) - DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。
DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。
DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
論文 参考訳（メタデータ） (2024-01-12T06:51:30Z) - Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability
of Large Language Model Code Generation [8.575560293086289]
大規模言語モデル(LLM)は、自然言語を理解し、プログラミングコードを生成する素晴らしい能力を示している。
生成されたコードにおけるAPIの誤用は、リソースリークやプログラムクラッシュといった深刻な問題を引き起こす可能性がある。
論文 参考訳（メタデータ） (2023-08-20T18:36:28Z) - Analysis of ChatGPT on Source Code [1.3381749415517021]
本稿では,大規模言語モデル(LLM),特にプログラミング,ソースコード解析,コード生成におけるChatGPTの利用について検討する。
LLMとChatGPTは機械学習と人工知能の技術を使って構築されており、開発者とプログラマにいくつかの利点を提供している。
論文 参考訳（メタデータ） (2023-06-01T12:12:59Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳（メタデータ） (2021-08-20T17:30:33Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。