論文の概要: PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
- arxiv url: http://arxiv.org/abs/2505.07700v1
- Date: Mon, 12 May 2025 16:09:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.472896
- Title: PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
- Title（参考訳）: PatchTrack: ChatGPTのプルリクエスト結果への影響に関する総合的な分析
- Authors: Daniel Ogenrwot, John Businge,
- Abstract要約: ソフトウェア開発におけるChatGPTのような大規模言語モデル(LLM)の急速な採用により、開発者がAIと対話する新たな方法が導入された。
この調査では、645のChatGPT生成コードスニペットと3,486のパッチを含む、255のGitHubリポジトリにわたる338のプルリクエストを調査した。
この結果から,ChatGPT生成コードの完全採用は稀であり,AI生成パッチをプロジェクト制約に合わせて修正あるいは統合することが多かった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid adoption of large language models (LLMs) like ChatGPT in software development has introduced new ways for developers to interact with AI, particularly in pull request workflows. While prior research has examined AI-generated code quality, there is limited understanding of how ChatGPT is utilized in real-world pull request decision-making and how its suggestions influence patch integration and rejection. To explore these aspects, we analyze self-admitted ChatGPT usage (SACU), where developers explicitly disclose their reliance on ChatGPT within pull request discussions. Our study examines 338 pull requests (285 merged, 53 closed) across 255 GitHub repositories, containing 645 ChatGPT-generated code snippets and 3,486 patches. We introduce PatchTrack, a classification tool that determines whether ChatGPT-generated patches were applied (PA, 115 cases), not applied (PN, 64 cases), or not suggested (NE, 106 cases). Our findings reveal that full adoption of ChatGPT-generated code is rare, developers frequently modify or selectively integrate AI-generated patches to align with project constraints, with a median integration rate of 25%. Through qualitative analysis, we identify key factors influencing patch integration and pull request rejection, including scope misalignment, maintainability concerns, redundant solutions, and procedural barriers such as incomplete documentation or administrative policies. By providing empirical insights into ChatGPT's role in pull request workflows, this study informs developers, maintainers, and educators on the evolving use of generative AI in collaborative software development. It also lays the groundwork for future research on optimizing AI-assisted development, improving transparency in AI adoption, and enhancing patch integration workflows.
- Abstract（参考訳）: ソフトウェア開発におけるChatGPTのような大規模言語モデル(LLM)の急速な採用により、特にプルリクエストワークフローにおいて、開発者がAIと対話する新たな方法が導入された。
以前の研究では、AI生成のコード品質について検討されているが、ChatGPTが現実世界のプルリクエスト決定にどのように利用されるか、その提案がパッチ統合と拒否にどのように影響するかについては、限定的な理解がある。
これらの側面を探索するために、開発者はプルリクエストの議論の中でChatGPTへの依存を明示的に明らかにする自己推奨のChatGPT使用法(SACU)を分析します。
調査では,645のChatGPT生成コードスニペットと3,486のパッチを含む,255のGitHubリポジトリを対象に,338のプルリクエスト(285のマージ,53のクローズ)を調査した。
PatchTrackは,ChatGPTが生成するパッチが適用された(PA,115例)か,適用されなかった(PN,64例)か,提案されていない(NE,106例)かを決定する分類ツールである。
この結果から,ChatGPT生成コードの完全採用は稀であり,AI生成パッチをプロジェクト制約に合わせて修正あるいは選択的に統合することが多かった。
質的な分析を通じて、スコープのミスアライメント、保守性に関する懸念、冗長な解決策、不完全なドキュメントや管理ポリシーなどの手続き上の障壁など、パッチ統合やプルリクエストの拒否に影響を及ぼす重要な要因を特定します。
この研究は、プルリクエストワークフローにおけるChatGPTの役割に関する実証的な洞察を提供することで、開発者、メンテナ、教育者が協調ソフトウェア開発における生成AIの進化について通知する。
また、AI支援開発を最適化し、AI導入の透明性を改善し、パッチ統合ワークフローを強化するための将来の研究の基盤も設けている。
関連論文リスト
- Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code [4.605779671279481]
GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。
ChatGPTは主にアイデアに使用されるが、検証には最小限である。
ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
論文 参考訳（メタデータ） (2024-12-09T18:47:31Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。