論文の概要: An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project
- arxiv url: http://arxiv.org/abs/2401.16186v1
- Date: Mon, 29 Jan 2024 14:32:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 14:27:30.202856
- Title: An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project
- Title(参考訳): ソフトウェア工学プロジェクトにおけるLCMの使用と知覚に関する実証的研究
- Authors: Sanka Rasnayaka, Guanlin Wang, Ridwan Shariffdeen, Ganesh Neelakanta
Iyer
- Abstract要約: 大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。
ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
- 参考スコア(独自算出の注目度): 1.433758865948252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) represent a leap in artificial intelligence,
excelling in tasks using human language(s). Although the main focus of
general-purpose LLMs is not code generation, they have shown promising results
in the domain. However, the usefulness of LLMs in an academic software
engineering project has not been fully explored yet. In this study, we explore
the usefulness of LLMs for 214 students working in teams consisting of up to
six members. Notably, in the academic course through which this study is
conducted, students were encouraged to integrate LLMs into their development
tool-chain, in contrast to most other academic courses that explicitly prohibit
the use of LLMs.
In this paper, we analyze the AI-generated code, prompts used for code
generation, and the human intervention levels to integrate the code into the
code base. We also conduct a perception study to gain insights into the
perceived usefulness, influencing factors, and future outlook of LLM from a
computer science student's perspective. Our findings suggest that LLMs can play
a crucial role in the early stages of software development, especially in
generating foundational code structures, and helping with syntax and error
debugging. These insights provide us with a framework on how to effectively
utilize LLMs as a tool to enhance the productivity of software engineering
students, and highlight the necessity of shifting the educational focus toward
preparing students for successful human-AI collaboration.
- Abstract(参考訳): 大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
汎用LLMの主な焦点はコード生成ではないが、彼らはドメイン内で有望な結果を示している。
しかし、学術ソフトウェア工学プロジェクトにおけるLLMの有用性は、まだ十分に解明されていない。
本研究では,最大6名からなるチームで働く214名の学生を対象に,LLMの有用性を検討した。
特に,本研究が実施される学術コースでは,LSMの使用を明示的に禁止する他のほとんどの学術コースとは対照的に,LSMを開発ツールチェーンに統合することが奨励された。
本稿では、aiが生成するコード、コード生成に使用されるプロンプト、およびコードをコードベースに統合するための人間の介入レベルを分析する。
また,コンピュータサイエンスの学生の視点から,知覚的有用性,影響要因,LLMの将来的展望の洞察を得るために,認知研究を実施している。
llmはソフトウェア開発の初期段階において,特に基礎的なコード構造の生成や構文やエラーデバッグにおいて重要な役割を担っていることが示唆された。
これらの知見は、ソフトウェア工学の学生の生産性を高めるツールとしてLLMを効果的に活用するためのフレームワークを提供し、人間とAIのコラボレーションを成功させるために学生を準備する教育的焦点をシフトする必要性を強調する。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Rethinking Machine Unlearning for Large Language Models [89.99791628154274]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z) - "Which LLM should I use?": Evaluating LLMs for tasks performed by
Undergraduate Computer Science Students in India [2.4275319595116915]
本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。
私たちの研究は、Google Bard、ChatGPT、GitHub Copilot Chat、Microsoft Copilotなど、公開されているLLMのいくつかを体系的に評価しています。
論文 参考訳(メタデータ) (2024-01-22T15:11:36Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。
これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
論文 参考訳(メタデータ) (2023-11-30T10:51:26Z) - Towards an Understanding of Large Language Models in Software
Engineering Tasks [32.09925582943177]
大規模言語モデル(LLM)は、テキスト生成や推論といったタスクにおける驚くべき性能のために、広く注目され、研究されている。
本論文は, LLMとソフトウェア工学を組み合わせた研究・製品について, 総合的に調査し, 検討した最初の論文である。
我々は7つの主流データベースから関連文献を広範囲に収集し、分析のために123の論文を選択した。
論文 参考訳(メタデータ) (2023-08-22T12:37:29Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Calculating Originality of LLM Assisted Source Code [0.0]
本稿では,学生がソースコードを書く際の本来の取り組み(およびLLMの貢献)を決定するニューラルネットワークベースのツールを提案する。
我々のツールは、コルモゴロフ複雑性のような最小記述長測度によって動機付けられている。
論文 参考訳(メタデータ) (2023-07-10T11:30:46Z) - Low-code LLM: Visual Programming over LLMs [49.37966903221752]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
6種類のシンプルなローコードビジュアルプログラミングインタラクションが組み込まれており、すべてクリック、ドラッグ、テキスト編集によってサポートされている。
低コードLSMの利点として、制御可能な生成結果、ユーザフレンドリなヒューマン-LLMインタラクション、広く適用可能なシナリオの3つを挙げる。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - Automatically Generating CS Learning Materials with Large Language
Models [4.526618922750769]
大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。
LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。
LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
論文 参考訳(メタデータ) (2022-12-09T20:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。