論文の概要: Analyzing LLM Usage in an Advanced Computing Class in India

• arxiv url: http://arxiv.org/abs/2404.04603v1
• Date: Sat, 6 Apr 2024 12:06:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:29:27.084195
• Title: Analyzing LLM Usage in an Advanced Computing Class in India
• Title（参考訳）: インドにおける高度なコンピューティング授業におけるLLM利用の分析
• Authors: Chaitanya Arora, Utkarsh Venaik, Pavit Singh, Sahil Goyal, Jatin Tyagi, Shyama Goel, Ujjwal Singhal, Dhruv Kumar,
• Abstract要約: 既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。 本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
• 参考スコア（独自算出の注目度）: 1.6612806983579371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the usage patterns of undergraduate and graduate students when engaging with large language models (LLMs) to tackle programming assignments in the context of advanced computing courses. Existing work predominantly focuses on the influence of LLMs in introductory programming contexts. Additionally, there is a scarcity of studies analyzing actual conversations between students and LLMs. Our study provides a comprehensive quantitative and qualitative analysis of raw interactions between students and LLMs within an advanced computing course (Distributed Systems) at an Indian University. We further complement this by conducting student interviews to gain deeper insights into their usage patterns. Our study shows that students make use of large language models (LLMs) in various ways: generating code or debugging code by identifying and fixing errors. They also copy and paste assignment descriptions into LLM interfaces for specific solutions, ask conceptual questions about complex programming ideas or theoretical concepts, and generate test cases to check code functionality and robustness. Our analysis includes over 4,000 prompts from 411 students and conducting interviews with 10 students. Our analysis shows that LLMs excel at generating boilerplate code and assisting in debugging, while students handle the integration of components and system troubleshooting. This aligns with the learning objectives of advanced computing courses, which are oriented towards teaching students how to build systems and troubleshoot, with less emphasis on generating code from scratch. Therefore, LLM tools can be leveraged to increase student productivity, as shown by the data we collected. This study contributes to the ongoing discussion on LLM use in education, advocating for their usefulness in advanced computing courses to complement higher-level learning and productivity.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)に携わる大学生と大学院生の利用パターンを,先進的なコンピューティングコースの文脈におけるプログラミング課題に取り組むために検討する。 既存の研究は主に、導入プログラミングの文脈におけるLLMの影響に焦点を当てている。 さらに、学生とLLMの実際の会話を分析する研究はほとんどない。 本研究は,インド大学の先進コンピューティングコース(分散システム)において,学生とLLMの生の相互作用を定量的,質的に分析するものである。 さらに,学生インタビューを実施して,利用パターンについてより深い洞察を得ることによって,これを補完する。 本研究は,大規模言語モデル(LLM)を,誤りの特定と修正によるコード生成やデバッグなど,様々な方法で利用していることを示す。 また、特定のソリューションのための LLM インターフェースに代入記述をコピー&ペーストし、複雑なプログラミングのアイデアや理論的概念に関する概念的な質問をし、コード機能と堅牢性をチェックするテストケースを生成する。 分析では,411名の学生から4000名以上のプロンプトを抽出し,10名の学生にインタビューを行った。 分析の結果,LLMはボイラプレートコードの生成やデバッグ支援に優れており,学生はコンポーネントの統合やシステムトラブルシューティングを処理していることがわかった。 これは、先進的なコンピューティングコースの学習目標と一致し、システムの作り方やトラブルシュートを学生に教えることを目的としており、スクラッチからコードを生成することに注力していない。 したがって、私たちが収集したデータに示すように、LLMツールは学生の生産性を高めるために活用することができる。 本研究は、高等教育におけるLLM活用に関する議論の進行に寄与し、高度な学習と生産性を補完する先進的なコンピューティングコースにおけるそれらの有用性を主張している。

関連論文リスト

• Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation [6.267144136593821]
  大規模言語モデル(LLM)とプロンプトエンジニアリングは、パーソナライズされた教育を通じてコンピュータプログラミング教育を前進させる大きな可能性を秘めている。 本稿では, 多様な教育ニーズに合わせた迅速な技術戦略の体系的分類, LLMの本来の能力を超えた複雑な問題を解決する能力の強化, これらの戦略の評価と実装のための堅牢な枠組みの確立, の3つの重要な研究課題について考察する。 GPT-4o, GPT-4o, Llama3-8b, Mixtral-8x7b を用いたLeetCode や USACO などのデータセットによる実験により, GPT-4o は特に "multi-step" で他より一貫して優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-07-07T16:41:07Z)
• When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
  本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
  論文  参考訳（メタデータ） (2024-06-28T03:52:13Z)
• Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
  大規模言語モデル(LLM)の能力評価にはMWP(Math Word Problems)が不可欠である この研究は、文脈長一般化可能性(CoLeG)の探索の先駆者である。 これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。
  論文  参考訳（メタデータ） (2024-05-23T17:13:50Z)
• An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project [2.7325338323814328]
  本研究の目的は、学期間ソフトウェアエンジニアリングプロジェクトにおいて、計算学生のLSMの使用経験とアプローチを検討することである。 我々はPurdue大学の上級ソフトウェア工学コースからデータを収集した。 本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。
  論文  参考訳（メタデータ） (2024-03-27T15:21:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• "Which LLM should I use?": Evaluating LLMs for tasks performed by Undergraduate Computer Science Students [2.6043678412433713]
  本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。 私たちの研究は、Google Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilot Chatなど、公開されているLLMのいくつかを体系的に評価しています。
  論文  参考訳（メタデータ） (2024-01-22T15:11:36Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。