論文の概要: Analyzing LLM Usage in an Advanced Computing Class in India

• arxiv url: http://arxiv.org/abs/2404.04603v1
• Date: Sat, 6 Apr 2024 12:06:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:29:27.084195
• Title: Analyzing LLM Usage in an Advanced Computing Class in India
• Title（参考訳）: インドにおける高度なコンピューティング授業におけるLLM利用の分析
• Authors: Chaitanya Arora, Utkarsh Venaik, Pavit Singh, Sahil Goyal, Jatin Tyagi, Shyama Goel, Ujjwal Singhal, Dhruv Kumar,
• Abstract要約: 既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。 本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
• 参考スコア（独自算出の注目度）: 1.6612806983579371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the usage patterns of undergraduate and graduate students when engaging with large language models (LLMs) to tackle programming assignments in the context of advanced computing courses. Existing work predominantly focuses on the influence of LLMs in introductory programming contexts. Additionally, there is a scarcity of studies analyzing actual conversations between students and LLMs. Our study provides a comprehensive quantitative and qualitative analysis of raw interactions between students and LLMs within an advanced computing course (Distributed Systems) at an Indian University. We further complement this by conducting student interviews to gain deeper insights into their usage patterns. Our study shows that students make use of large language models (LLMs) in various ways: generating code or debugging code by identifying and fixing errors. They also copy and paste assignment descriptions into LLM interfaces for specific solutions, ask conceptual questions about complex programming ideas or theoretical concepts, and generate test cases to check code functionality and robustness. Our analysis includes over 4,000 prompts from 411 students and conducting interviews with 10 students. Our analysis shows that LLMs excel at generating boilerplate code and assisting in debugging, while students handle the integration of components and system troubleshooting. This aligns with the learning objectives of advanced computing courses, which are oriented towards teaching students how to build systems and troubleshoot, with less emphasis on generating code from scratch. Therefore, LLM tools can be leveraged to increase student productivity, as shown by the data we collected. This study contributes to the ongoing discussion on LLM use in education, advocating for their usefulness in advanced computing courses to complement higher-level learning and productivity.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)に携わる大学生と大学院生の利用パターンを,先進的なコンピューティングコースの文脈におけるプログラミング課題に取り組むために検討する。 既存の研究は主に、導入プログラミングの文脈におけるLLMの影響に焦点を当てている。 さらに、学生とLLMの実際の会話を分析する研究はほとんどない。 本研究は,インド大学の先進コンピューティングコース(分散システム)において,学生とLLMの生の相互作用を定量的,質的に分析するものである。 さらに,学生インタビューを実施して,利用パターンについてより深い洞察を得ることによって,これを補完する。 本研究は,大規模言語モデル(LLM)を,誤りの特定と修正によるコード生成やデバッグなど,様々な方法で利用していることを示す。 また、特定のソリューションのための LLM インターフェースに代入記述をコピー&ペーストし、複雑なプログラミングのアイデアや理論的概念に関する概念的な質問をし、コード機能と堅牢性をチェックするテストケースを生成する。 分析では,411名の学生から4000名以上のプロンプトを抽出し,10名の学生にインタビューを行った。 分析の結果,LLMはボイラプレートコードの生成やデバッグ支援に優れており,学生はコンポーネントの統合やシステムトラブルシューティングを処理していることがわかった。 これは、先進的なコンピューティングコースの学習目標と一致し、システムの作り方やトラブルシュートを学生に教えることを目的としており、スクラッチからコードを生成することに注力していない。 したがって、私たちが収集したデータに示すように、LLMツールは学生の生産性を高めるために活用することができる。 本研究は、高等教育におけるLLM活用に関する議論の進行に寄与し、高度な学習と生産性を補完する先進的なコンピューティングコースにおけるそれらの有用性を主張している。

関連論文リスト

• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation [6.267144136593821]
  大規模言語モデル(LLM)とプロンプトエンジニアリングは、パーソナライズされた教育を通じてコンピュータプログラミング教育を前進させる大きな可能性を秘めている。 本稿では, 多様な教育ニーズに合わせた迅速な技術戦略の体系的分類, LLMの本来の能力を超えた複雑な問題を解決する能力の強化, これらの戦略の評価と実装のための堅牢な枠組みの確立, の3つの重要な研究課題について考察する。 GPT-4o, GPT-4o, Llama3-8b, Mixtral-8x7b を用いたLeetCode や USACO などのデータセットによる実験により, GPT-4o は特に "multi-step" で他より一貫して優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-07-07T16:41:07Z)
• When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
  本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。 LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
  論文  参考訳（メタデータ） (2024-06-28T03:52:13Z)
• An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project [2.7325338323814328]
  本研究の目的は、学期間ソフトウェアエンジニアリングプロジェクトにおいて、計算学生のLSMの使用経験とアプローチを検討することである。 我々はPurdue大学の上級ソフトウェア工学コースからデータを収集した。 本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。
  論文  参考訳（メタデータ） (2024-03-27T15:21:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• "Which LLM should I use?": Evaluating LLMs for tasks performed by Undergraduate Computer Science Students [2.6043678412433713]
  本研究では,大学生に共通する作業における大規模言語モデル(LLM)の有効性を評価する。 私たちの研究は、Google Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilot Chatなど、公開されているLLMのいくつかを体系的に評価しています。
  論文  参考訳（メタデータ） (2024-01-22T15:11:36Z)
• Tapping the Potential of Large Language Models as Recommender Systems: A Comprehensive Framework and Empirical Analysis [91.5632751731927]
  ChatGPTのような大規模言語モデルは、一般的なタスクを解く際、顕著な能力を示した。 本稿では,レコメンデーションタスクにおけるLLMの活用のための汎用フレームワークを提案し,レコメンデーションタスクとしてのLLMの機能に着目した。 提案手法は,提案手法が推薦結果に与える影響を解析し,提案手法とモデルアーキテクチャ,パラメータスケール,コンテキスト長について検討する。
  論文  参考訳（メタデータ） (2024-01-10T08:28:56Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。