論文の概要: What Makes ChatGPT Effective for Software Issue Resolution? An Empirical Study of Developer-ChatGPT Conversations in GitHub

• arxiv url: http://arxiv.org/abs/2506.22390v1
• Date: Fri, 27 Jun 2025 17:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.299353
• Title: What Makes ChatGPT Effective for Software Issue Resolution? An Empirical Study of Developer-ChatGPT Conversations in GitHub
• Title（参考訳）: ソフトウェア問題解決にChatGPTが有効になる理由 : GitHubにおける開発者とチャットGPTの会話に関する実証的研究
• Authors: Ramtin Ehsani, Sakshi Pathak, Esteban Parra, Sonia Haiduc, Preetha Chatterjee,
• Abstract要約: GitHubイシュースレッド内で共有されている686人の開発者-ChatGPT会話を分析し、これらの会話を課題解決に効果的にする特徴を特定します。 ChatGPTはコード生成やツール/ライブラリ/APIレコメンデーションに最も効果的ですが、コード説明に苦労しています。 問題レベルでは、ChatGPTは開発者のアクティビティが制限され、より高速な解像度で、より単純な問題に対して最善を尽くします。
• 参考スコア（独自算出の注目度）: 4.928297656574645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational large-language models are extensively used for issue resolution tasks. However, not all developer-LLM conversations are useful for effective issue resolution. In this paper, we analyze 686 developer-ChatGPT conversations shared within GitHub issue threads to identify characteristics that make these conversations effective for issue resolution. First, we analyze the conversations and their corresponding issues to distinguish helpful from unhelpful conversations. We begin by categorizing the types of tasks developers seek help with to better understand the scenarios in which ChatGPT is most effective. Next, we examine a wide range of conversational, project, and issue-related metrics to uncover factors associated with helpful conversations. Finally, we identify common deficiencies in unhelpful ChatGPT responses to highlight areas that could inform the design of more effective developer-facing tools. We found that only 62% of the ChatGPT conversations were helpful for successful issue resolution. ChatGPT is most effective for code generation and tools/libraries/APIs recommendations, but struggles with code explanations. Helpful conversations tend to be shorter, more readable, and exhibit stronger semantic and linguistic alignment. Larger, more popular projects and more experienced developers benefit more from ChatGPT. At the issue level, ChatGPT performs best on simpler problems with limited developer activity and faster resolution, typically well-scoped tasks like compilation errors. The most common deficiencies in unhelpful ChatGPT responses include incorrect information and lack of comprehensiveness. Our findings have wide implications including guiding developers on effective interaction strategies for issue resolution, informing the development of tools or frameworks to support optimal prompt design, and providing insights on fine-tuning LLMs for issue resolution tasks.
• Abstract（参考訳）: 対話型大規模言語モデルは課題解決タスクに広く利用されている。 しかし、すべての開発者とLLMの会話が効果的な問題解決に役立つわけではない。 本稿では,GitHubイシュースレッド内で共有される686人の開発者-ChatGPT会話を分析し,これらの会話を課題解決に有効にする特徴を特定する。 まず,会話とそれに対応する課題を分析し,不愉快な会話とを区別する。 まず、開発者が助けを求めるタスクの種類を分類して、ChatGPTが最も効果的であるシナリオをよりよく理解することから始めます。 次に,有効な会話に関連する要因を明らかにするために,会話,プロジェクト,課題に関連する幅広い指標について検討する。 最後に、より効果的な開発者向けツールの設計に影響を及ぼす可能性のある領域を強調するために、非ヘルパフルなChatGPT応答の一般的な欠陥を特定します。 問題解決に役立ったのはChatGPTの会話の62%に過ぎなかった。 ChatGPTはコード生成やツール/ライブラリ/APIレコメンデーションに最も効果的ですが、コード説明に苦労しています。 説得力のある会話はより短く、より読みやすく、より強力な意味的・言語的アライメントを示す傾向がある。 より大きく、より人気のあるプロジェクトやより経験豊富な開発者は、ChatGPTの恩恵を受ける。 問題レベルでは、ChatGPTは開発者のアクティビティが制限され、より高速な解像度(典型的にはコンパイルエラーのようなよくスキャンされたタスク)で、より単純な問題に対して最善を尽くします。 不完全なChatGPT応答の最も一般的な欠陥は、誤った情報と包括性の欠如である。 課題解決のための効果的なインタラクション戦略を開発者に指導すること、最適な迅速な設計を支援するためのツールやフレームワークの開発を通知すること、課題解決タスクのための微調整 LLM に関する洞察を提供することなど、幅広い意味を持つ。

関連論文リスト

• Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution [3.768737590492549]
  GitHubイシュースレッド内の433人の開発者-ChatGPT会話を分析し、インシデントギャップと会話スタイルが課題解決に与える影響を調べる。 不効果的な会話は44.6%のプロンプトで知識ギャップを含んでいるのに対し、効果的な会話では12.6%しかなかった。
  論文  参考訳（メタデータ） (2025-01-20T19:41:42Z)
• Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code [4.605779671279481]
  GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。 ChatGPTは主にアイデアに使用されるが、検証には最小限である。 ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
  論文  参考訳（メタデータ） (2024-12-09T18:47:31Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
  本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。 データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
  論文  参考訳（メタデータ） (2023-08-31T06:55:40Z)
• ChatCoT: Tool-Augmented Chain-of-Thought Reasoning on Chat-based Large Language Models [125.7209927536255]
  チャットベースのLLMのためのツール拡張チェーン推論フレームワークChatCoTを提案する。 ChatCoTでは、チャットを通じてより自然な方法でツールを活用するために、マルチターン会話として思考の連鎖(CoT)推論をモデル化します。 提案手法は,チャットベースのLLMのマルチターン会話能力を効果的に活用し,思考連鎖とツール操作を統一的に統合する。
  論文  参考訳（メタデータ） (2023-05-23T17:54:33Z)
• A Categorical Archive of ChatGPT Failures [47.64219291655723]
  OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
  論文  参考訳（メタデータ） (2023-02-06T04:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。