論文の概要: Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code
- arxiv url: http://arxiv.org/abs/2412.06757v1
- Date: Mon, 09 Dec 2024 18:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:57:02.827129
- Title: Why Do Developers Engage with ChatGPT in Issue-Tracker? Investigating Usage and Reliance on ChatGPT-Generated Code
- Title（参考訳）: なぜ開発者が問題トラッカーでChatGPTを使うのか? ChatGPT生成コードの使用と信頼性を調査する
- Authors: Joy Krishan Das, Saikat Mondal, Chanchal K. Roy,
- Abstract要約: GitHubの1,012のイシューで1,152人のDeveloper-ChatGPTの会話を分析しました。
ChatGPTは主にアイデアに使用されるが、検証には最小限である。
ChatGPTで生成されたコードは5.83%の問題を解決するためにas-isとして使用された。
- 参考スコア（独自算出の注目度）: 4.605779671279481
- License:
- Abstract: Large language models (LLMs) like ChatGPT have shown the potential to assist developers with coding and debugging tasks. However, their role in collaborative issue resolution is underexplored. In this study, we analyzed 1,152 Developer-ChatGPT conversations across 1,012 issues in GitHub to examine the diverse usage of ChatGPT and reliance on its generated code. Our contributions are fourfold. First, we manually analyzed 289 conversations to understand ChatGPT's usage in the GitHub Issues. Our analysis revealed that ChatGPT is primarily utilized for ideation, whereas its usage for validation (e.g., code documentation accuracy) is minimal. Second, we applied BERTopic modeling to identify key areas of engagement on the entire dataset. We found that backend issues (e.g., API management) dominate conversations, while testing is surprisingly less covered. Third, we utilized the CPD clone detection tool to check if the code generated by ChatGPT was used to address issues. Our findings revealed that ChatGPT-generated code was used as-is to resolve only 5.83\% of the issues. Fourth, we estimated sentiment using a RoBERTa-based sentiment analysis model to determine developers' satisfaction with different usages and engagement areas. We found positive sentiment (i.e., high satisfaction) about using ChatGPT for refactoring and addressing data analytics (e.g., categorizing table data) issues. On the contrary, we observed negative sentiment when using ChatGPT to debug issues and address automation tasks (e.g., GUI interactions). Our findings show the unmet needs and growing dissatisfaction among developers. Researchers and ChatGPT developers should focus on developing task-specific solutions that help resolve diverse issues, improving user satisfaction and problem-solving efficiency in software development.
- Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、開発者がコーディングやデバッグタスクを補助する可能性を示している。
しかし、協調的な課題解決における彼らの役割は過小評価されている。
本研究では,GitHubの1012の課題を対象とした1,152人のDeveloper-ChatGPTの会話を分析し,ChatGPTの多種多様な使用状況と生成されたコードへの依存を調査した。
私たちの貢献は4倍です。
まず、GitHub IssuesにおけるChatGPTの使用状況を理解するために、289の会話を手動で分析しました。
分析の結果,ChatGPTは主にアイデアに利用されるが,検証(コード文書の正確性など)は最小限であることがわかった。
次に、BERTopicモデリングを適用し、データセット全体のエンゲージメントの重要領域を特定した。
バックエンドの問題(API管理など)が会話を支配しているのに対して、テストは驚くほどカバーされていないことが分かりました。
第3に,CPDクローン検出ツールを用いて,ChatGPTが生成したコードが問題に対処するかどうかを確認する。
結果,ChatGPT生成したコードは5.83 %しか解決できないことがわかった。
第4に,RoBERTaを用いた感情分析モデルを用いて感情を推定し,使用状況やエンゲージメント領域の異なる開発者の満足度を推定した。
データ分析(テーブルデータの分類など)の問題のリファクタリングや対処にChatGPTを使うことに対して、肯定的な感情(すなわち、高い満足度)が得られました。
それに対して,ChatGPTを用いて問題をデバッグし,自動化タスク(GUIインタラクションなど)に対処する際の負の感情を観察した。
私たちの調査結果は、開発者のニーズと不満の高まりを示しています。
研究者とChatGPT開発者は、多様な問題を解決し、ユーザの満足度を改善し、ソフトウェア開発における問題解決効率を向上させるタスク固有のソリューションの開発に注力する必要がある。
関連論文リスト
- Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks? [10.389763758883975]
近年の研究では、ChatGPTを開発者とテスターの両方に活用することを提案した。
コード生成,コード補完,プログラム修復におけるChatGPTの自己検証能力を評価するための総合的な実証的研究を行う。
論文 参考訳（メタデータ） (2024-05-21T09:47:33Z) - An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues [20.121332699827633]
ChatGPTはソフトウェア開発プラクティスに大きな影響を与えています。
広く採用されているにもかかわらず、協調コーディングにおけるアシスタントとしてのChatGPTの影響はほとんど解明されていない。
210と370人の開発者のデータセットを分析し、GitHubのプルリクエスト(PR)とイシューでChatGPTとの会話を共有しました。
論文 参考訳（メタデータ） (2024-03-15T16:58:37Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - An empirical study of ChatGPT-3.5 on question answering and code
maintenance [14.028497274245227]
ChatGPTがプログラマを置き換え、ジョブを廃止するかどうかという懸念が高まっている。
そこで我々は,ChatGPTとプログラマの質問応答とソフトウェア保守を系統的に比較するための実証的研究を行った。
論文 参考訳（メタデータ） (2023-10-03T14:48:32Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。