論文の概要: DevGPT: Studying Developer-ChatGPT Conversations
- arxiv url: http://arxiv.org/abs/2309.03914v1
- Date: Thu, 31 Aug 2023 06:55:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 08:43:38.523706
- Title: DevGPT: Studying Developer-ChatGPT Conversations
- Title（参考訳）: DevGPT:Developer-ChatGPT対話の研究
- Authors: Tao Xiao, Christoph Treude, Hideaki Hata, Kenichi Matsumoto
- Abstract要約: ソフトウェア開発者がChatGPTをどのように使っているのか、私たちはほとんど知りません。
DevGPTは17,913のプロンプトと、11,751のコードスニペットを含むChatGPTのレスポンスを含む、キュレートされたデータセットである。
- 参考スコア（独自算出の注目度）: 12.69439932665687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of large language models (LLMs) such as ChatGPT has disrupted
the landscape of software development. Many studies are investigating the
quality of responses generated by ChatGPT, the efficacy of various prompting
techniques, and its comparative performance in programming contests, to name a
few examples. Yet, we know very little about how ChatGPT is actually used by
software developers. What questions do developers present to ChatGPT? What are
the dynamics of these interactions? What is the backdrop against which these
conversations are held, and how do the conversations feedback into the
artifacts of their work? To close this gap, we introduce DevGPT, a curated
dataset which encompasses 17,913 prompts and ChatGPT's responses including
11,751 code snippets, coupled with the corresponding software development
artifacts -- ranging from source code, commits, issues, pull requests, to
discussions and Hacker News threads -- to enable the analysis of the context
and implications of these developer interactions with ChatGPT.
- Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)の出現は、ソフトウェア開発の風景を乱した。
多くの研究では、ChatGPTが生み出す応答の質、様々なプロンプト技術の有効性、およびプログラミングコンテストにおける比較性能について研究している。
しかし、ChatGPTが実際にソフトウェア開発者によって使われているかはほとんどわかっていません。
ChatGPTにはどのような質問がありますか?
これらの相互作用のダイナミクスは何か?
これらの会話に対する背景はどのようなもので、会話はどのように彼らの仕事の成果物にフィードバックしますか?
このギャップを埋めるために、私たちはDevGPTという17,913のプロンプトとChatGPTのレスポンスを含むキュレートされたデータセットを紹介します。これには、ソースコード、コミット、イシュー、プルリクエスト、ディスカッション、Hacker Newsスレッドなど、対応するソフトウェア開発成果物を含む11,751のコードスニペットが含まれています。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues [20.121332699827633]
ChatGPTはソフトウェア開発プラクティスに大きな影響を与えています。
広く採用されているにもかかわらず、協調コーディングにおけるアシスタントとしてのChatGPTの影響はほとんど解明されていない。
210と370人の開発者のデータセットを分析し、GitHubのプルリクエスト(PR)とイシューでChatGPTとの会話を共有しました。
論文 参考訳（メタデータ） (2024-03-15T16:58:37Z) - Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks [9.455579863269714]
コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
論文 参考訳（メタデータ） (2024-02-08T13:07:31Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。