論文の概要: Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice
- arxiv url: http://arxiv.org/abs/2404.14901v2
- Date: Tue, 21 May 2024 12:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 17:52:56.630693
- Title: Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice
- Title（参考訳）: コード生成を超えて - ソフトウェアエンジニアリングの実践におけるChatGPT利用の観察的研究
- Authors: Ranim Khojah, Mazen Mohamad, Philipp Leitner, Francisco Gomes de Oliveira Neto,
- Abstract要約: 我々は、ChatGPTを1週間の業務で使用している24人のプロのソフトウェアエンジニアについて、観察的研究を行った。
ChatGPTが使えるソフトウェアアーティファクト(例えばコード)を生成することを期待するのではなく、実践者はChatGPTを使ってタスクの解決方法やトピックについてより抽象的な言葉で学ぶことが多い。
- 参考スコア（独自算出の注目度）: 3.072802875195726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are frequently discussed in academia and the general public as support tools for virtually any use case that relies on the production of text, including software engineering. Currently there is much debate, but little empirical evidence, regarding the practical usefulness of LLM-based tools such as ChatGPT for engineers in industry. We conduct an observational study of 24 professional software engineers who have been using ChatGPT over a period of one week in their jobs, and qualitatively analyse their dialogues with the chatbot as well as their overall experience (as captured by an exit survey). We find that, rather than expecting ChatGPT to generate ready-to-use software artifacts (e.g., code), practitioners more often use ChatGPT to receive guidance on how to solve their tasks or learn about a topic in more abstract terms. We also propose a theoretical framework for how (i) purpose of the interaction, (ii) internal factors (e.g., the user's personality), and (iii) external factors (e.g., company policy) together shape the experience (in terms of perceived usefulness and trust). We envision that our framework can be used by future research to further the academic discussion on LLM usage by software engineering practitioners, and to serve as a reference point for the design of future empirical LLM research in this domain.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア工学を含むテキスト生成に依存した事実上あらゆるユースケースのサポートツールとして、学術や一般において頻繁に議論されている。
現在、業界エンジニア向けのChatGPTのようなLLMベースのツールの実用性について、多くの議論があるが、実証的な証拠はほとんどない。
我々は、ChatGPTを仕事で1週間使用した24人のプロソフトウェアエンジニアの観察研究を行い、チャットボットとの対話や全体的な経験(出口調査で捉えたように)を質的に分析する。
ChatGPTが使えるソフトウェアアーティファクト(例えばコード)を生成することを期待してはいないが、実践者はChatGPTを使ってタスクの解決方法やトピックについてより抽象的な言葉で学ぶことが多い。
理論的枠組みも提案する。
i) 相互作用の目的,
(ii)内部要因(例えば、利用者の性格)、
三 外部要因(例:企業方針)を合わせて経験(有用性及び信頼の面で)を形成すること。
我々は,我々のフレームワークを将来の研究で活用して,ソフトウェア工学の実践者によるLLM利用に関する学術的な議論をさらに進めるとともに,この領域における将来の実証的なLLM研究の設計の基準点として機能することを期待している。
関連論文リスト
- Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom [0.0]
本論文は、より困難な演習を創出するためにプログラミングを教える学者や、教室の整合性を促進するためにChatGPTの使用に責任を負う方法についての知見を提供する。
過去のIS演習の実践的プログラミング事例を分析し,教員や講師が大学環境下で作成したメモと比較した。
論文 参考訳（メタデータ） (2024-06-16T23:52:37Z) - Can ChatGPT Support Developers? An Empirical Evaluation of Large Language Models for Code Generation [2.93322471069531]
開発者によるChatGPTとの会話から収集したデータセットであるDevGPTにおける会話の実証分析を行った。
この結果から,LLM生成コードを使用する現在の実践は,高レベルな概念を示すか,ドキュメントに例を示すかのどちらかに制限されていることが示唆された。
論文 参考訳（メタデータ） (2024-02-18T20:48:09Z) - Language Models as Science Tutors [79.73256703631492]
本研究では,LMの現実的なユーザビリティを科学的アシスタントとして測定するTutorEvalとTutorChatを紹介する。
既存の対話データセットを用いた微調整ベースモデルがTutorEvalの性能を低下させることを示す。
我々はTutorChatを用いて、7Bパラメータと34Bパラメータを持つLlemmaモデルを微調整する。これらのLMチューターは32Kのコンテキストウィンドウを持ち、GSM8KとMATHに強く依存しながらTutorEvalで優れている。
論文 参考訳（メタデータ） (2024-02-16T22:24:13Z) - Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks [9.455579863269714]
コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
論文 参考訳（メタデータ） (2024-02-08T13:07:31Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - Analysis of ChatGPT on Source Code [1.3381749415517021]
本稿では,大規模言語モデル(LLM),特にプログラミング,ソースコード解析,コード生成におけるChatGPTの利用について検討する。
LLMとChatGPTは機械学習と人工知能の技術を使って構築されており、開発者とプログラマにいくつかの利点を提供している。
論文 参考訳（メタデータ） (2023-06-01T12:12:59Z) - Is ChatGPT the Ultimate Programming Assistant -- How far is it? [11.943927095071105]
ChatGPTは非常に注目されており、ソースコードを議論するためのボットとして使用できる。
完全自動プログラミングアシスタントとしてのChatGPTの可能性について実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-24T09:20:13Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-18T15:35:43Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。