論文の概要: Analysis of Student-LLM Interaction in a Software Engineering Project

• arxiv url: http://arxiv.org/abs/2502.01273v1
• Date: Mon, 03 Feb 2025 11:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:15.436984
• Title: Analysis of Student-LLM Interaction in a Software Engineering Project
• Title（参考訳）: ソフトウェア工学プロジェクトにおける学生-LLMインタラクションの分析
• Authors: Agrawal Naman, Ridwan Shariffdeen, Guanlin Wang, Sanka Rasnayaka, Ganesh Neelakanta Iyer,
• Abstract要約: 我々は、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で126人の学部生とAIアシスタントとのインタラクションを分析した。 以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。 会話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License:
• Abstract: Large Language Models (LLMs) are becoming increasingly competent across various domains, educators are showing a growing interest in integrating these LLMs into the learning process. Especially in software engineering, LLMs have demonstrated qualitatively better capabilities in code summarization, code generation, and debugging. Despite various research on LLMs for software engineering tasks in practice, limited research captures the benefits of LLMs for pedagogical advancements and their impact on the student learning process. To this extent, we analyze 126 undergraduate students' interaction with an AI assistant during a 13-week semester to understand the benefits of AI for software engineering learning. We analyze the conversations, code generated, code utilized, and the human intervention levels to integrate the code into the code base. Our findings suggest that students prefer ChatGPT over CoPilot. Our analysis also finds that ChatGPT generates responses with lower computational complexity compared to CoPilot. Furthermore, conversational-based interaction helps improve the quality of the code generated compared to auto-generated code. Early adoption of LLMs in software engineering is crucial to remain competitive in the rapidly developing landscape. Hence, the next generation of software engineers must acquire the necessary skills to interact with AI to improve productivity.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域でますます有能になりつつあり、教育者はこれらのLLMを学習プロセスに統合することへの関心が高まっている。 特にソフトウェア工学において、LLMはコードの要約、コード生成、デバッグにおいて質的に優れた機能を示している。 ソフトウェア工学のタスクにおけるLLMの様々な研究にもかかわらず、限定的な研究は、教育的な進歩のためのLLMの利点と、その学生の学習プロセスへの影響を捉えている。 この範囲で、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で、126人の学部生とAIアシスタントとのインタラクションを分析した。 私たちは、会話、コード生成、コード利用、人間の介入レベルを分析して、コードをコードベースに統合します。 以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。 解析の結果,ChatGPTはCoPilotに比べて計算複雑性の低い応答を生成することがわかった。 さらに、対話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。 ソフトウェア工学におけるLSMの早期導入は、急速に発展する分野において競争力を維持するために不可欠である。 したがって、次世代のソフトウェアエンジニアは、生産性を向上させるためにAIと対話するために必要なスキルを取得する必要がある。

関連論文リスト

• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• Human and Machine: How Software Engineers Perceive and Engage with AI-Assisted Code Reviews Compared to Their Peers [4.734450431444635]
  本稿では,Large Language Model (LLM) を利用したコードレビューにおいて,ソフトウェアエンジニアがどのように認識し,関与しているかを検討する。 コードレビューにおけるエンゲージメントは多次元であり、認知的、感情的、行動的な側面にまたがっていることがわかった。 我々の発見は、AIツールがSE社会技術プロセスにどのように影響しているかをより深く理解するのに役立ちます。
  論文  参考訳（メタデータ） (2025-01-03T20:42:51Z)
• LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
  非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。 そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
  論文  参考訳（メタデータ） (2024-11-15T03:29:41Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
  本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。 この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:25:54Z)
• Automatically Generating CS Learning Materials with Large Language Models [4.526618922750769]
  大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。 LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。 LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
  論文  参考訳（メタデータ） (2022-12-09T20:37:44Z)
• OMLT: Optimization & Machine Learning Toolkit [54.58348769621782]
  最適化と機械学習ツールキット(OMLT)は、ニューラルネットワークと勾配ブーストツリーサロゲートモデルを組み込んだオープンソースのソフトウェアパッケージである。 我々は、OMLTを可能とした最適化技術の進歩について論じ、OMLTが代数モデリング言語であるPyomoとシームレスに統合されていることを示す。
  論文  参考訳（メタデータ） (2022-02-04T22:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。