論文の概要: What Makes ChatGPT Effective for Software Issue Resolution? An Empirical Study of Developer-ChatGPT Conversations in GitHub
- arxiv url: http://arxiv.org/abs/2506.22390v1
- Date: Fri, 27 Jun 2025 17:00:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 21:12:23.299353
- Title: What Makes ChatGPT Effective for Software Issue Resolution? An Empirical Study of Developer-ChatGPT Conversations in GitHub
- Title（参考訳）: ソフトウェア問題解決にChatGPTが有効になる理由 : GitHubにおける開発者とチャットGPTの会話に関する実証的研究
- Authors: Ramtin Ehsani, Sakshi Pathak, Esteban Parra, Sonia Haiduc, Preetha Chatterjee,
- Abstract要約: GitHubイシュースレッド内で共有されている686人の開発者-ChatGPT会話を分析し、これらの会話を課題解決に効果的にする特徴を特定します。
ChatGPTはコード生成やツール/ライブラリ/APIレコメンデーションに最も効果的ですが、コード説明に苦労しています。
問題レベルでは、ChatGPTは開発者のアクティビティが制限され、より高速な解像度で、より単純な問題に対して最善を尽くします。
- 参考スコア（独自算出の注目度）: 4.928297656574645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational large-language models are extensively used for issue resolution tasks. However, not all developer-LLM conversations are useful for effective issue resolution. In this paper, we analyze 686 developer-ChatGPT conversations shared within GitHub issue threads to identify characteristics that make these conversations effective for issue resolution. First, we analyze the conversations and their corresponding issues to distinguish helpful from unhelpful conversations. We begin by categorizing the types of tasks developers seek help with to better understand the scenarios in which ChatGPT is most effective. Next, we examine a wide range of conversational, project, and issue-related metrics to uncover factors associated with helpful conversations. Finally, we identify common deficiencies in unhelpful ChatGPT responses to highlight areas that could inform the design of more effective developer-facing tools. We found that only 62% of the ChatGPT conversations were helpful for successful issue resolution. ChatGPT is most effective for code generation and tools/libraries/APIs recommendations, but struggles with code explanations. Helpful conversations tend to be shorter, more readable, and exhibit stronger semantic and linguistic alignment. Larger, more popular projects and more experienced developers benefit more from ChatGPT. At the issue level, ChatGPT performs best on simpler problems with limited developer activity and faster resolution, typically well-scoped tasks like compilation errors. The most common deficiencies in unhelpful ChatGPT responses include incorrect information and lack of comprehensiveness. Our findings have wide implications including guiding developers on effective interaction strategies for issue resolution, informing the development of tools or frameworks to support optimal prompt design, and providing insights on fine-tuning LLMs for issue resolution tasks.
- Abstract（参考訳）: 対話型大規模言語モデルは課題解決タスクに広く利用されている。
しかし、すべての開発者とLLMの会話が効果的な問題解決に役立つわけではない。
本稿では,GitHubイシュースレッド内で共有される686人の開発者-ChatGPT会話を分析し,これらの会話を課題解決に有効にする特徴を特定する。
まず,会話とそれに対応する課題を分析し,不愉快な会話とを区別する。
まず、開発者が助けを求めるタスクの種類を分類して、ChatGPTが最も効果的であるシナリオをよりよく理解することから始めます。
次に,有効な会話に関連する要因を明らかにするために,会話,プロジェクト,課題に関連する幅広い指標について検討する。
最後に、より効果的な開発者向けツールの設計に影響を及ぼす可能性のある領域を強調するために、非ヘルパフルなChatGPT応答の一般的な欠陥を特定します。
問題解決に役立ったのはChatGPTの会話の62%に過ぎなかった。
ChatGPTはコード生成やツール/ライブラリ/APIレコメンデーションに最も効果的ですが、コード説明に苦労しています。
説得力のある会話はより短く、より読みやすく、より強力な意味的・言語的アライメントを示す傾向がある。
より大きく、より人気のあるプロジェクトやより経験豊富な開発者は、ChatGPTの恩恵を受ける。
問題レベルでは、ChatGPTは開発者のアクティビティが制限され、より高速な解像度(典型的にはコンパイルエラーのようなよくスキャンされたタスク)で、より単純な問題に対して最善を尽くします。
不完全なChatGPT応答の最も一般的な欠陥は、誤った情報と包括性の欠如である。
課題解決のための効果的なインタラクション戦略を開発者に指導すること、最適な迅速な設計を支援するためのツールやフレームワークの開発を通知すること、課題解決タスクのための微調整 LLM に関する洞察を提供することなど、幅広い意味を持つ。
関連論文リスト
- Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution [3.768737590492549]
GitHubイシュースレッド内の433人の開発者-ChatGPT会話を分析し、インシデントギャップと会話スタイルが課題解決に与える影響を調べる。
不効果的な会話は44.6%のプロンプトで知識ギャップを含んでいるのに対し、効果的な会話では12.6%しかなかった。
論文 参考訳（メタデータ） (2025-01-20T19:41:42Z) - Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code [4.605779671279481]
GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。
ChatGPTは主にアイデアに使用されるが、検証には最小限である。
ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
論文 参考訳（メタデータ） (2024-12-09T18:47:31Z) - An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues [20.121332699827633]
ChatGPTはソフトウェア開発プラクティスに大きな影響を与えています。
広く採用されているにもかかわらず、協調コーディングにおけるアシスタントとしてのChatGPTの影響はほとんど解明されていない。
210と370人の開発者のデータセットを分析し、GitHubのプルリクエスト(PR)とイシューでChatGPTとの会話を共有しました。
論文 参考訳（メタデータ） (2024-03-15T16:58:37Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - ChatCoT: Tool-Augmented Chain-of-Thought Reasoning on Chat-based Large
Language Models [125.7209927536255]
チャットベースのLLMのためのツール拡張チェーン推論フレームワークChatCoTを提案する。
ChatCoTでは、チャットを通じてより自然な方法でツールを活用するために、マルチターン会話として思考の連鎖(CoT)推論をモデル化します。
提案手法は,チャットベースのLLMのマルチターン会話能力を効果的に活用し,思考連鎖とツール操作を統一的に統合する。
論文 参考訳（メタデータ） (2023-05-23T17:54:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。