論文の概要: An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
- arxiv url: http://arxiv.org/abs/2403.10468v1
- Date: Fri, 15 Mar 2024 16:58:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:11:26.558394
- Title: An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
- Title（参考訳）: GitHubのプルリクエストと課題におけるChatGPTとの会話の共有に関する実証的研究
- Authors: Huizi Hao, Kazi Amit Hasan, Hong Qin, Marcos Macedo, Yuan Tian, Steven H. H. Ding, Ahmed E. Hassan,
- Abstract要約: ChatGPTはソフトウェア開発プラクティスに大きな影響を与えています。
広く採用されているにもかかわらず、協調コーディングにおけるアシスタントとしてのChatGPTの影響はほとんど解明されていない。
210と370人の開発者のデータセットを分析し、GitHubのプルリクエスト(PR)とイシューでChatGPTとの会話を共有しました。
- 参考スコア（独自算出の注目度）: 20.121332699827633
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: ChatGPT has significantly impacted software development practices, providing substantial assistance to developers in a variety of tasks, including coding, testing, and debugging. Despite its widespread adoption, the impact of ChatGPT as an assistant in collaborative coding remains largely unexplored. In this paper, we analyze a dataset of 210 and 370 developers shared conversations with ChatGPT in GitHub pull requests (PRs) and issues. We manually examined the content of the conversations and characterized the dynamics of the sharing behavior, i.e., understanding the rationale behind the sharing, identifying the locations where the conversations were shared, and determining the roles of the developers who shared them. Our main observations are: (1) Developers seek ChatGPT assistance across 16 types of software engineering inquiries. In both conversations shared in PRs and issues, the most frequently encountered inquiry categories include code generation, conceptual questions, how-to guides, issue resolution, and code review. (2) Developers frequently engage with ChatGPT via multi-turn conversations where each prompt can fulfill various roles, such as unveiling initial or new tasks, iterative follow-up, and prompt refinement. Multi-turn conversations account for 33.2% of the conversations shared in PRs and 36.9% in issues. (3) In collaborative coding, developers leverage shared conversations with ChatGPT to facilitate their role-specific contributions, whether as authors of PRs or issues, code reviewers, or collaborators on issues. Our work serves as the first step towards understanding the dynamics between developers and ChatGPT in collaborative software development and opens up new directions for future research on the topic.
- Abstract（参考訳）: ChatGPTはソフトウェア開発プラクティスに大きな影響を与え、コーディング、テスト、デバッグなど、さまざまなタスクにおいて、開発者に相当な支援を提供する。
広く採用されているにもかかわらず、協調コーディングにおけるアシスタントとしてのChatGPTの影響はほとんど解明されていない。
本稿では、GitHubのプルリクエスト(PR)とイシューでChatGPTと会話した、210と370人の開発者のデータセットを分析します。
会話の内容について手動で検討し、共有行動のダイナミクス、すなわち共有の背後にある理性を理解し、会話が共有された場所を特定し、共有する開発者の役割を判断する。
1) 開発者は16種類のソフトウェアエンジニアリングの質問に対してChatGPTの支援を求めます。
PRとイシューの両方で共有される会話の中で、最も頻繁に遭遇する調査カテゴリは、コード生成、概念的質問、ハウツーガイド、イシュー解決、コードレビューである。
2) 開発者はマルチターン会話を通じてChatGPTに頻繁に関わり,初期タスクや新規タスクの公開,反復フォローアップ,即興改善など,各プロンプトがさまざまな役割を果たすことができる。
マルチターン会話はPRで共有される会話の33.2%、問題36.9%を占める。
(3)コラボレーティブコーディングでは、開発者はChatGPTとの会話を利用して、PRやイシューの著者、コードレビュアー、イシューのコラボレータなど、役割固有のコントリビューションを促進する。
私たちの仕事は、共同ソフトウェア開発における開発者とChatGPTの間のダイナミクスを理解するための第一歩として役立ちます。
関連論文リスト
- An Empirical Study of ChatGPT-Related Projects and Their Issues on GitHub [31.04758551761583]
キーワードChatGPTを使ってGitHubから71,244のプロジェクトを取り出しました。
また,ChatGPT関連プロジェクト,すなわちChatGPT実装・トレーニング,ChatGPTアプリケーション,ChatGPT改善・拡張の3つの主要なカテゴリを特定した。
3つのプロジェクトカテゴリにおいて、各課題トピックの人気、難易度、進化度を分析した。
論文 参考訳（メタデータ） (2024-03-26T07:06:54Z) - Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks [9.455579863269714]
コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
論文 参考訳（メタデータ） (2024-02-08T13:07:31Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - An empirical study of ChatGPT-3.5 on question answering and code
maintenance [14.028497274245227]
ChatGPTがプログラマを置き換え、ジョブを廃止するかどうかという懸念が高まっている。
そこで我々は,ChatGPTとプログラマの質問応答とソフトウェア保守を系統的に比較するための実証的研究を行った。
論文 参考訳（メタデータ） (2023-10-03T14:48:32Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue:
An Empirical Study [51.079100495163736]
本稿では、トピックセグメンテーションと談話解析という2つの談話分析タスクにおけるChatGPTの性能を体系的に検証する。
ChatGPTは、一般的なドメイン間会話においてトピック構造を特定する能力を示すが、特定のドメイン間会話ではかなり困難である。
我々のより深い調査は、ChatGPTは人間のアノテーションよりも合理的なトピック構造を提供するが、階層的なレトリック構造を線形に解析することしかできないことを示唆している。
論文 参考訳（メタデータ） (2023-05-15T07:14:41Z) - ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。
特にChatGPTは,広く利用されており,アクセスしやすいLLMである。
我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
論文 参考訳（メタデータ） (2023-03-29T03:05:43Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - QAConv: Question Answering on Informative Conversations [85.2923607672282]
ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。
合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
論文 参考訳（メタデータ） (2021-05-14T15:53:05Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳（メタデータ） (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。