論文の概要: Analyzing LLM Usage in an Advanced Computing Class in India
- arxiv url: http://arxiv.org/abs/2404.04603v1
- Date: Sat, 6 Apr 2024 12:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:29:27.084195
- Title: Analyzing LLM Usage in an Advanced Computing Class in India
- Title(参考訳): インドにおける高度なコンピューティング授業におけるLLM利用の分析
- Authors: Chaitanya Arora, Utkarsh Venaik, Pavit Singh, Sahil Goyal, Jatin Tyagi, Shyama Goel, Ujjwal Singhal, Dhruv Kumar,
- Abstract要約: 既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。
本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
- 参考スコア(独自算出の注目度): 1.6612806983579371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the usage patterns of undergraduate and graduate students when engaging with large language models (LLMs) to tackle programming assignments in the context of advanced computing courses. Existing work predominantly focuses on the influence of LLMs in introductory programming contexts. Additionally, there is a scarcity of studies analyzing actual conversations between students and LLMs. Our study provides a comprehensive quantitative and qualitative analysis of raw interactions between students and LLMs within an advanced computing course (Distributed Systems) at an Indian University. We further complement this by conducting student interviews to gain deeper insights into their usage patterns. Our study shows that students make use of large language models (LLMs) in various ways: generating code or debugging code by identifying and fixing errors. They also copy and paste assignment descriptions into LLM interfaces for specific solutions, ask conceptual questions about complex programming ideas or theoretical concepts, and generate test cases to check code functionality and robustness. Our analysis includes over 4,000 prompts from 411 students and conducting interviews with 10 students. Our analysis shows that LLMs excel at generating boilerplate code and assisting in debugging, while students handle the integration of components and system troubleshooting. This aligns with the learning objectives of advanced computing courses, which are oriented towards teaching students how to build systems and troubleshoot, with less emphasis on generating code from scratch. Therefore, LLM tools can be leveraged to increase student productivity, as shown by the data we collected. This study contributes to the ongoing discussion on LLM use in education, advocating for their usefulness in advanced computing courses to complement higher-level learning and productivity.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)に携わる大学生と大学院生の利用パターンを,先進的なコンピューティングコースの文脈におけるプログラミング課題に取り組むために検討する。
既存の研究は主に、導入プログラミングの文脈におけるLLMの影響に焦点を当てている。
さらに、学生とLLMの実際の会話を分析する研究はほとんどない。
本研究は,インド大学の先進コンピューティングコース(分散システム)において,学生とLLMの生の相互作用を定量的,質的に分析するものである。
さらに,学生インタビューを実施して,利用パターンについてより深い洞察を得ることによって,これを補完する。
本研究は,大規模言語モデル(LLM)を,誤りの特定と修正によるコード生成やデバッグなど,様々な方法で利用していることを示す。
また、特定のソリューションのための LLM インターフェースに代入記述をコピー&ペーストし、複雑なプログラミングのアイデアや理論的概念に関する概念的な質問をし、コード機能と堅牢性をチェックするテストケースを生成する。
分析では,411名の学生から4000名以上のプロンプトを抽出し,10名の学生にインタビューを行った。
分析の結果,LLMはボイラプレートコードの生成やデバッグ支援に優れており,学生はコンポーネントの統合やシステムトラブルシューティングを処理していることがわかった。
これは、先進的なコンピューティングコースの学習目標と一致し、システムの作り方やトラブルシュートを学生に教えることを目的としており、スクラッチからコードを生成することに注力していない。
したがって、私たちが収集したデータに示すように、LLMツールは学生の生産性を高めるために活用することができる。
本研究は、高等教育におけるLLM活用に関する議論の進行に寄与し、高度な学習と生産性を補完する先進的なコンピューティングコースにおけるそれらの有用性を主張している。
関連論文リスト
- Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。
この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
論文 参考訳(メタデータ) (2024-04-17T20:37:00Z) - An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project [2.7325338323814328]
本研究の目的は、学期間ソフトウェアエンジニアリングプロジェクトにおいて、計算学生のLSMの使用経験とアプローチを検討することである。
我々はPurdue大学の上級ソフトウェア工学コースからデータを収集した。
本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。
論文 参考訳(メタデータ) (2024-03-27T15:21:58Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project [1.433758865948252]
大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。
ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
論文 参考訳(メタデータ) (2024-01-29T14:32:32Z) - "Which LLM should I use?": Evaluating LLMs for tasks performed by Undergraduate Computer Science Students [2.6043678412433713]
本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。
私たちの研究は、Google Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilot Chatなど、公開されているLLMのいくつかを体系的に評価しています。
論文 参考訳(メタデータ) (2024-01-22T15:11:36Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Automated Assessment of Students' Code Comprehension using LLMs [0.3293989832773954]
大規模言語モデル(LLM)とエンコーダベースのセマンティックテキスト類似(STS)モデルを評価する。
この結果から,LLMはプログラミング領域における生徒の短解評価において,微調整エンコーダモデルに匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-12-19T20:39:12Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。