論文の概要: An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project

• arxiv url: http://arxiv.org/abs/2403.18679v2
• Date: Tue, 16 Apr 2024 22:10:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:31:46.777509
• Title: An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project
• Title（参考訳）: 学期中等教育における大規模言語モデルの活用に関する調査研究
• Authors: Ben Arie Tanay, Lexy Arinze, Siddhant S. Joshi, Kirsten A. Davis, James C. Davis,
• Abstract要約: 本研究の目的は、学期間ソフトウェアエンジニアリングプロジェクトにおいて、計算学生のLSMの使用経験とアプローチを検討することである。 我々はPurdue大学の上級ソフトウェア工学コースからデータを収集した。 本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。
• 参考スコア（独自算出の注目度）: 2.7325338323814328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Large Language Models (LLMs) such as ChatGPT and CoPilot are influencing software engineering practice. Software engineering educators must teach future software engineers how to use such tools well. As of yet, there have been few studies that report on the use of LLMs in the classroom. It is, therefore, important to evaluate students' perception of LLMs and possible ways of adapting the computing curriculum to these shifting paradigms. Purpose: The purpose of this study is to explore computing students' experiences and approaches to using LLMs during a semester-long software engineering project. Design/Method: We collected data from a senior-level software engineering course at Purdue University. This course uses a project-based learning (PBL) design. The students used LLMs such as ChatGPT and Copilot in their projects. A sample of these student teams were interviewed to understand (1) how they used LLMs in their projects; and (2) whether and how their perspectives on LLMs changed over the course of the semester. We analyzed the data to identify themes related to students' usage patterns and learning outcomes. Results/Discussion: When computing students utilize LLMs within a project, their use cases cover both technical and professional applications. In addition, these students perceive LLMs to be efficient tools in obtaining information and completion of tasks. However, there were concerns about the responsible use of LLMs without being detrimental to their own learning outcomes. Based on our findings, we recommend future research to investigate the usage of LLM's in lower-level computer engineering courses to understand whether and how LLMs can be integrated as a learning aid without hurting the learning outcomes.
• Abstract（参考訳）: 背景: ChatGPT や CoPilot のような大規模言語モデル (LLM) がソフトウェア工学の実践に影響を与える。 ソフトウェアエンジニアリング教育者は、将来のソフトウェアエンジニアにそのようなツールの使い方を教える必要がある。 現在,教室でのLSMの使用について報告する研究は少ない。 したがって、LLMに対する学生の認識と、これらのシフトするパラダイムにコンピュータカリキュラムを適応させる可能性を評価することが重要である。 目的: 本研究の目的は, 学期間ソフトウェアエンジニアリングプロジェクトにおいて, LLMの使用経験とアプローチを検討することである。 Design/Method: プルデュー大学の上級ソフトウェア工学コースからデータを収集しました。 このコースはプロジェクトベースラーニング(PBL)設計を使用する。 学生たちはプロジェクトにおいてChatGPTやCopilotといったLLMを使用した。 これらの学生チームのサンプルをインタビューし,(1)プロジェクトにおいてLLMをどのように利用したか,(2)学期を通じてLLMに対する視点がどう変化したのかを調べた。 本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。 results/Discussion: 学生がプロジェクト内でLLMを利用する場合、そのユースケースは技術と専門のアプリケーションの両方をカバーする。 さらに,これらの学生は,LLMが情報収集やタスク完了に有効なツールであると認識している。 しかし,LLMの責任は,学習成果に損なわれることなく利用されることが懸念された。 本研究は,LLMを学習の成果を損なうことなく学習支援として組み込むことができるかを理解するために,低レベルのコンピュータ工学コースにおけるLLMの使用状況について,今後の研究を推奨するものである。

関連論文リスト

• Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
  本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
  論文  参考訳（メタデータ） (2024-06-28T03:52:13Z)
• Insights from Social Shaping Theory: The Appropriation of Large Language Models in an Undergraduate Programming Course [0.9718746651638346]
  大規模言語モデル(LLM)は、コードを生成、デバッグ、説明することができる。 本研究は,学生の社会的知覚が自身のLLM利用にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-06-10T16:40:14Z)
• CS1-LLM: Integrating LLMs into CS1 Instruction [0.6282171844772422]
  本経験報告では,大規模言語モデルを完全に取り入れた大規模大学におけるCS1コースについて述べる。 LLMを組み込むため、コースは意図的に変更され、シンタックスやコードの記述がスクラッチから強調されるようになった。 学生は3つの異なる領域に3つの大きなオープンエンドプロジェクトを与えられ、彼らの創造性を誇示した。
  論文  参考訳（メタデータ） (2024-04-17T14:44:28Z)
• Analyzing LLM Usage in an Advanced Computing Class in India [4.580708389528142]
  本研究では,大規模言語モデル(LLM)を,大学院生や大学院生が高度なコンピューティングクラスにおけるプログラミング課題に活用することを検討した。 インド大学の分散システムクラスから411名の学生を対象に,総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-04-06T12:06:56Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• "Which LLM should I use?": Evaluating LLMs for tasks performed by Undergraduate Computer Science Students [2.6043678412433713]
  本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。 私たちの研究は、Google Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilot Chatなど、公開されているLLMのいくつかを体系的に評価しています。
  論文  参考訳（メタデータ） (2024-01-22T15:11:36Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond [48.70557995528463]
  このガイドは、研究者や実践者が大規模言語モデルを扱うための貴重な洞察とベストプラクティスを提供することを目的としている。 実世界のシナリオにおける LLM の実用的応用と限界を説明するために, 様々なユースケースと非利用事例を提示する。
  論文  参考訳（メタデータ） (2023-04-26T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。