論文の概要: The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own

• arxiv url: http://arxiv.org/abs/2503.05760v2
• Date: Tue, 11 Mar 2025 14:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:00.587999
• Title: The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own
• Title（参考訳）: 怠け者の学生の夢:ChatGPTが独自のエンジニアリングコースを通過
• Authors: Gokul Puthumanaillam, Melkior Ornik,
• Abstract要約: 本稿では,Large Language Models (LLMs) の制御系コースを成功させる能力について包括的に検討する。 現実的な学生の利用パターンをシミュレートする「最小限の努力」プロトコルの下で,ChatGPTを用いてLCMの性能を評価する。 我々の分析は、制御システム工学における数学的定式化、コーディングの課題、理論的概念を扱う際のAIの強みと限界に関する定量的洞察を提供する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License:
• Abstract: This paper presents a comprehensive investigation into the capability of Large Language Models (LLMs) to successfully complete a semester-long undergraduate control systems course. Through evaluation of 115 course deliverables, we assess LLM performance using ChatGPT under a "minimal effort" protocol that simulates realistic student usage patterns. The investigation employs a rigorous testing methodology across multiple assessment formats, from auto-graded multiple choice questions to complex Python programming tasks and long-form analytical writing. Our analysis provides quantitative insights into AI's strengths and limitations in handling mathematical formulations, coding challenges, and theoretical concepts in control systems engineering. The LLM achieved a B-grade performance (82.24\%), approaching but not exceeding the class average (84.99\%), with strongest results in structured assignments and greatest limitations in open-ended projects. The findings inform discussions about course design adaptation in response to AI advancement, moving beyond simple prohibition towards thoughtful integration of these tools in engineering education. Additional materials including syllabus, examination papers, design projects, and example responses can be found at the project website: https://gradegpt.github.io.
• Abstract（参考訳）: 本稿では,中等教育課程を修了するためのLarge Language Models (LLMs) の総合的な研究について述べる。 115コースの成果物の評価を通じて,現実的な学生利用パターンをシミュレートする「最小限の努力」プロトコルの下で,ChatGPTを用いたLCM性能の評価を行った。 この調査では、複数のアセスメントフォーマットにまたがる厳格なテスト手法が採用されている。 我々の分析は、制御システム工学における数学的定式化、コーディングの課題、理論的概念を扱う際のAIの強みと限界に関する定量的洞察を提供する。 LLMはBグレードのパフォーマンス(82.24\%)を達成したが、クラス平均(84.99\%)を超えなかった。 この結果は、AIの進歩に応えてコース設計の適応について議論し、これらのツールをエンジニアリング教育に意識的に統合することへの単純な禁止を越えている。 syllabus、試験論文、デザインプロジェクト、サンプルレスポンスなどの追加資料は、プロジェクトのWebサイトにある。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• An efficient approach to represent enterprise web application structure using Large Language Model in the service of Intelligent Quality Engineering [0.0]
  本稿では,Large Language Models (LLM) を用いたエンタープライズWebアプリケーション構造を表現する新しい手法を提案する。 LLMの少数ショット学習能力を最適化する階層的表現手法を提案する。 我々の方法論は、自動ソフトウェアテストにおけるジェネレーティブAI技術の使用に関する既存の課題に対処する。
  論文  参考訳（メタデータ） (2025-01-12T15:10:57Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• A Case Study on Test Case Construction with Large Language Models: Unveiling Practical Insights and Challenges [2.7029792239733914]
  本稿では,ソフトウェア工学の文脈におけるテストケース構築における大規模言語モデルの適用について検討する。 定性分析と定量分析の混合により, LLMが試験ケースの包括性, 精度, 効率に与える影響を評価する。
  論文  参考訳（メタデータ） (2023-12-19T20:59:02Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses? [6.2122699483618]
  我々は,Pythonプログラミングコースにおける後続レベルでの評価をパスするために,GPT(Generative Pre-trained Transformer)の有効性を評価した。 GPTモデルがオートグレーダのフィードバックをいかに活用するかを検討した。 これらの容易なモデルを簡単に適用することで、学習者が利用可能な総合的なスコアの非自明な部分を得ることができることは明らかである。
  論文  参考訳（メタデータ） (2023-03-16T13:58:45Z)
• Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
  深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。 本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。 既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
  論文  参考訳（メタデータ） (2021-10-06T19:30:25Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。