論文の概要: PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
- arxiv url: http://arxiv.org/abs/2505.07700v2
- Date: Tue, 26 Aug 2025 19:59:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 14:51:02.977994
- Title: PatchTrack: A Comprehensive Analysis of ChatGPT's Influence on Pull Request Outcomes
- Title（参考訳）: PatchTrack: ChatGPTのプルリクエスト結果への影響に関する総合的な分析
- Authors: Daniel Ogenrwot, John Businge,
- Abstract要約: 自称ChatGPT使用量を含む255のGitHubリポジトリからのプルリクエストを分析します。
PatchTrackは、ChatGPTパッチが適用されているか、適用されていないかを分類するツールです。
89件のプルリクエストと統合パッチの質的分析により, 構造統合, 選択的抽出, 反復精製の繰り返しパターンが明らかになった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid adoption of large language models (LLMs) like ChatGPT has introduced new dynamics in software development, particularly within pull request workflows. While prior research has examined the quality of AI-generated code, little is known about how developers actually use these suggestions in real-world collaboration. We analyze 338 pull requests from 255 GitHub repositories containing self-admitted ChatGPT usage, including 645 AI-generated snippets and 3,486 developer-authored patches. We introduce PatchTrack, a tool that classifies whether ChatGPT patches were applied, not applied, or not suggested, enabling fine-grained analysis of AI-assisted decisions. Full adoption of ChatGPT code is rare: the median integration rate was 25%. A qualitative analysis of 89 pull requests with integrated patches revealed recurring patterns of structural integration, selective extraction, and iterative refinement, showing that developers typically treat ChatGPT's output as a starting point rather than a final implementation. Even when code was not directly adopted, ChatGPT influenced workflows through conceptual guidance, documentation, and debugging strategies. Integration decisions were shaped by scope, architectural fit, contributor role, and review norms. This study offers empirical insight into how generative AI is used in collaborative software development, showing that its impact extends beyond patch generation to broader decision-making. Our findings inform the design of AI-assisted tools, clarify patch adoption behavior, and support more transparent and effective use of LLMs in practice.
- Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)の急速な採用により、特にプルリクエストワークフローにおいて、ソフトウェア開発に新たなダイナミクスが導入された。
以前の研究では、AI生成コードの品質について調査されているが、開発者が実際のコラボレーションでこれらの提案をどのように利用するかについてはほとんど分かっていない。
我々は、645のAI生成スニペットと3,486の開発者認証パッチを含む、自称ChatGPT使用率を含む255のGitHubリポジトリからの338のプルリクエストを分析した。
PatchTrackは、ChatGPTパッチが適用されたかどうか、適用されなかったか、提案されていないかを分類し、AI支援決定のきめ細かい分析を可能にするツールである。
ChatGPTコードの完全な採用はまれであり、中央値の統合率は25%であった。
89のプルリクエストとパッチの統合による定性的な分析では、最終的な実装ではなく、ChatGPTのアウトプットを出発点として扱うのが一般的である。
コードが直接採用されていない場合でも、ChatGPTは概念的なガイダンス、ドキュメント、デバッグ戦略を通じてワークフローに影響した。
統合決定は、スコープ、アーキテクチャ適合、コントリビュータの役割、レビュー規範によって形成されました。
この研究は、コラボレーティブなソフトウェア開発において、生成AIがどのように使われているかについて実証的な洞察を与え、その影響がパッチ生成からより広範な意思決定にまで及んでいることを示す。
本研究は,AI支援ツールの設計,パッチ適用行動の明確化,LLMのより透明性と有効利用を支援することを目的としている。
関連論文リスト
- SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - Unveiling the Role of ChatGPT in Software Development: Insights from Developer-ChatGPT Interactions on GitHub [13.658091361380333]
ChatGPTのような生成AIツールは、開発者の間で広く採用されている。
ChatGPTの可能性は広く議論されているが、開発者による実際の使用を探求する実証的な証拠は限られている。
本研究は,ChatGPT支援開発活動の大規模実証分析を行うことにより,ギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-05-06T18:16:08Z) - Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code [4.605779671279481]
GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。
ChatGPTは主にアイデアに使用されるが、検証には最小限である。
ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
論文 参考訳（メタデータ） (2024-12-09T18:47:31Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - One Small Step for Generative AI, One Giant Leap for AGI: A Complete
Survey on ChatGPT in AIGC Era [95.2284704286191]
GPT-4(別名ChatGPT Plus)は、生成型AI(GAI)の1つの小さなステップであるが、人工知能(AGI)の1つの大きな飛躍である。
2022年11月に公式リリースされて以来、ChatGPTは急速に多くのユーザーを惹きつけてきた。
この研究は、ChatGPTを基盤技術、アプリケーション、課題に関する包括的なレビューで調査した初めてのものである。
論文 参考訳（メタデータ） (2023-04-04T06:22:09Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。