論文の概要: CourseAssist: Pedagogically Appropriate AI Tutor for Computer Science Education
- arxiv url: http://arxiv.org/abs/2407.10246v2
- Date: Sat, 20 Jul 2024 01:21:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 00:12:27.295628
- Title: CourseAssist: Pedagogically Appropriate AI Tutor for Computer Science Education
- Title（参考訳）: CourseAssist:コンピュータサイエンス教育のためのAIチューター
- Authors: Ty Feng, Sa Liu, Dipak Ghosal,
- Abstract要約: このポスターでは、コンピュータサイエンス教育用に作られた新しいLLMベースのチューターシステムであるCourseAssistを紹介している。
一般的なLLMシステムとは異なり、CourseAssistは検索強化生成、ユーザ意図分類、質問分解を使用して、AI応答を特定のコース材料や学習目標と整合させる。
- 参考スコア（独自算出の注目度）: 1.052788652996288
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The growing enrollments in computer science courses and increase in class sizes necessitate scalable, automated tutoring solutions to adequately support student learning. While Large Language Models (LLMs) like GPT-4 have demonstrated potential in assisting students through question-answering, educators express concerns over student overreliance, miscomprehension of generated code, and the risk of inaccurate answers. Rather than banning these tools outright, we advocate for a constructive approach that harnesses the capabilities of AI while mitigating potential risks. This poster introduces CourseAssist, a novel LLM-based tutoring system tailored for computer science education. Unlike generic LLM systems, CourseAssist uses retrieval-augmented generation, user intent classification, and question decomposition to align AI responses with specific course materials and learning objectives, thereby ensuring pedagogical appropriateness of LLMs in educational settings. We evaluated CourseAssist against a baseline of GPT-4 using a dataset of 50 question-answer pairs from a programming languages course, focusing on the criteria of usefulness, accuracy, and pedagogical appropriateness. Evaluation results show that CourseAssist significantly outperforms the baseline, demonstrating its potential to serve as an effective learning assistant. We have also deployed CourseAssist in 6 computer science courses at a large public R1 research university reaching over 500 students. Interviews with 20 student users show that CourseAssist improves computer science instruction by increasing the accessibility of course-specific tutoring help and shortening the feedback loop on their programming assignments. Future work will include extensive pilot testing at more universities and exploring better collaborative relationships between students, educators, and AI that improve computer science learning experiences.
- Abstract（参考訳）: コンピュータサイエンスコースへの入学の増加とクラスサイズの増大は、学生の学習を適切に支援するために、スケーラブルで自動化されたチューリングソリューションを必要とする。
GPT-4のようなLarge Language Models(LLMs)は、質問回答を通じて学生を支援する可能性を示しているが、教育者は、学生の過信、生成されたコードの誤理解、そして不正確な回答のリスクについて懸念を表明している。
これらのツールを全面的に禁止するのではなく、潜在的なリスクを軽減しつつ、AIの能力を活用する建設的なアプローチを提唱します。
このポスターでは、コンピュータサイエンス教育用に作られた新しいLLMベースのチューターシステムであるCourseAssistを紹介している。
一般的なLLMシステムとは異なり、CourseAssistは検索強化生成、ユーザ意図分類、質問分解を使用して、AI応答を特定のコース材料や学習目的と整合させ、教育環境におけるLLMの教育的適切性を確保する。
GPT-4のベースラインに対するCourseAssistの評価を,50組の質問応答対のデータセットを用いて行い,有用性,正確性,教育的適切性の基準に焦点をあてた。
評価の結果,CourseAssistはベースラインを著しく上回り,効果的な学習アシスタントとして機能する可能性が示された。
我々はまた、500人以上の学生にリーチする大公立R1研究大学のコンピュータサイエンス講座にCourseAssistを6つのコンピュータサイエンス講座に展開した。
20人の学生を対象に行ったインタビューでは、コース固有の授業のアクセシビリティを高め、プログラミングの課題に対するフィードバックループを短くすることで、CourseAssistがコンピュータサイエンスの授業を改善することが示されている。
今後の研究には、多くの大学での広範なパイロットテストや、コンピュータサイエンスの学習体験を改善するための学生、教育者、AIとのより良いコラボレーティブな関係の探求が含まれる。
関連論文リスト
- Do Tutors Learn from Equity Training and Can Generative AI Assess It? [2.116573423199236]
本研究では,教師のスキル向上のためのオンライン授業において,教師のパフォーマンスを評価する。
教師の自己報告による知識への信頼度の増加に伴い,学習の習得率が著しく向上することがわかった。
この作業では、レッスンログデータ、チューター応答、人間のアノテーション用のルーブリック、生成AIプロンプトのデータセットが利用可能になる。
論文 参考訳（メタデータ） (2024-12-15T17:36:40Z) - How Good is ChatGPT in Giving Adaptive Guidance Using Knowledge Graphs in E-Learning Environments? [0.8999666725996978]
本研究では,動的知識グラフを大規模言語モデル (LLM) と統合し,学習者を支援する手法を提案する。
この手法の中心は、学生がトピックの前提条件を理解する上での知識グラフの役割である。
予備的な知見から, 学生はこの連携支援の恩恵を受け, 理解の向上と課題成果の向上が期待できる。
論文 参考訳（メタデータ） (2024-12-05T04:05:43Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Integrating AI Tutors in a Programming Course [0.0]
RAGManはLLMベースのチューターシステムで、様々なコース特化および宿題特化AIチューターをサポートする。
本稿では,AI教師とのインタラクション,学生のフィードバック,および比較グレード分析について述べる。
論文 参考訳（メタデータ） (2024-07-14T00:42:39Z) - Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。
本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。
ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
論文 参考訳（メタデータ） (2024-03-05T09:09:15Z) - The Robots are Here: Navigating the Generative AI Revolution in
Computing Education [4.877774347152004]
人工知能(AI)の最近の進歩は、コンピューティングを根本的に再構築している。
大規模言語モデル(LLM)は、ソースコードと自然言語命令を効果的に生成、解釈できるようになった。
これらの能力は、教育者がこれらの課題にどう対処すべきかという緊急の疑問を引き起こしている。
論文 参考訳（メタデータ） (2023-10-01T12:54:37Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Peer-inspired Student Performance Prediction in Interactive Online
Question Pools with Graph Neural Network [56.62345811216183]
本稿では,対話型オンライン質問プールにおいて,より優れた生徒のパフォーマンス予測を実現するために,グラフニューラルネットワーク(GNN)を用いた新しいアプローチを提案する。
具体的には,学生のインタラクションを用いた学生と質問の関係をモデル化し,学生のインタラクション・クエストネットワークを構築する。
1631の質問に対して4000人以上の学生の問題解決過程において生成した104,113個のマウス軌跡からなる実世界のデータセットに対するアプローチの有効性を評価した。
論文 参考訳（メタデータ） (2020-08-04T14:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。