論文の概要: Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks
- arxiv url: http://arxiv.org/abs/2402.05650v2
- Date: Fri, 9 Feb 2024 07:20:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:19:39.789107
- Title: Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks
- Title（参考訳）: 発達しない岩石の符号化-LDM対応SEタスクの人間中心実験
- Authors: Wei Wang, Huilong Ning, Gaowei Zhang, Libo Liu and Yi Wang
- Abstract要約: コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
- 参考スコア（独自算出の注目度）: 9.455579863269714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, large language models (LLM) based generative AI has been gaining
momentum for their impressive high-quality performances in multiple domains,
particularly after the release of the ChatGPT. Many believe that they have the
potential to perform general-purpose problem-solving in software development
and replace human software developers. Nevertheless, there are in a lack of
serious investigation into the capability of these LLM techniques in fulfilling
software development tasks. In a controlled 2 $\times$ 2 between-subject
experiment with 109 participants, we examined whether and to what degree
working with ChatGPT was helpful in the coding task and typical software
development task and how people work with ChatGPT. We found that while ChatGPT
performed well in solving simple coding problems, its performance in supporting
typical software development tasks was not that good. We also observed the
interactions between participants and ChatGPT and found the relations between
the interactions and the outcomes. Our study thus provides first-hand insights
into using ChatGPT to fulfill software engineering tasks with real-world
developers and motivates the need for novel interaction mechanisms that help
developers effectively work with large language models to achieve desired
outcomes.
- Abstract（参考訳）: 近年、大規模言語モデル(LLM)ベースの生成AIは、特にChatGPTのリリース以降、複数のドメインにおける優れた高品質なパフォーマンスで勢いを増している。
多くの人は、ソフトウェア開発において汎用的な問題解決を行い、人間のソフトウェア開発者を置き換える可能性を秘めている。
それでも、これらのLCM技術がソフトウェア開発タスクを遂行する能力について、深刻な調査が行われていない。
参加者109名を対象にした2ドル\times$2のオブジェクト間実験において,コーディングタスクやソフトウェア開発タスクにおいてChatGPTがどの程度役に立つか,人々がChatGPTをどのように扱うかを検討した。
単純なコーディング問題ではChatGPTがうまく機能したが、典型的なソフトウェア開発タスクをサポートする性能はそれほど良くなかった。
また,参加者とチャットgptの相互作用を観察し,その相互作用と結果の関係を見いだした。
そこで本研究では,ChatGPTを用いて現実の開発者とソフトウェアエンジニアリングのタスクを遂行し,開発者が望まれる結果を達成するために,大規模言語モデルと効果的に連携する新しいインタラクションメカニズムの必要性を動機づける。
関連論文リスト
- Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。
Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
論文 参考訳（メタデータ） (2024-11-01T14:27:16Z) - Developers' Perceptions on the Impact of ChatGPT in Software Development: A Survey [13.257222195239375]
ソフトウェアの品質、生産性、仕事満足度に対するChatGPTの影響を理解するため、207人のソフトウェア開発者と調査を行った。
この研究は、ChatGPTの今後の適応に関する開発者の期待、潜在的な仕事の移転に関する懸念、規制介入の視点について詳しく述べている。
論文 参考訳（メタデータ） (2024-05-20T17:31:16Z) - Investigating the Utility of ChatGPT in the Issue Tracking System: An
Exploratory Study [5.176434782905268]
本研究は,ChatGPTと開発者間の相互作用を分析し,それらの活動を分析し,解決するものである。
私たちの調査によると、開発者は主にブレインストーミングソリューションにChatGPTを使用しているが、しばしばChatGPT生成コードを使う代わりにコードを書くことを選ぶ。
論文 参考訳（メタデータ） (2024-02-06T06:03:05Z) - Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。
本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。
実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
論文 参考訳（メタデータ） (2023-12-28T13:50:42Z) - ChatGPT as a Software Development Bot: A Project-based Study [5.518217604591736]
本研究では,生成型AIツール,特にChatGPTが大学生のソフトウェア開発経験に与える影響について検討した。
その結果,ChatGPTはソフトウェア開発教育におけるスキルギャップに大きく対処し,効率性,正確性,協調性を向上した。
論文 参考訳（メタデータ） (2023-10-20T16:48:19Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - ChatDev: Communicative Agents for Software Development [84.90400377131962]
ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。
これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
論文 参考訳（メタデータ） (2023-07-16T02:11:34Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。