論文の概要: CourseAssist: Pedagogically Appropriate Question Answering System for Computer Science Education
- arxiv url: http://arxiv.org/abs/2407.10246v1
- Date: Wed, 1 May 2024 20:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 12:59:07.447170
- Title: CourseAssist: Pedagogically Appropriate Question Answering System for Computer Science Education
- Title（参考訳）: Course Assist:コンピュータサイエンス教育のための適切な質問回答システム
- Authors: Ty Feng,
- Abstract要約: 本稿では,コンピュータサイエンス教育に適したLLMベースの授業システムであるCourseAssistを紹介する。
GPT 3.5のベースラインに対するCourseAssistの評価は、プログラミング言語コースから50の質問応答対のデータセットを用いて行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The growing enrollments in computer science courses and increase in class sizes necessitate scalable, automated tutoring solutions to adequately support student learning. While Large Language Models (LLMs) like GPT-3.5 have demonstrated potential in assisting students through question-answering, educators have significant concerns about students misusing LLMs or LLMs misleading students with inaccurate answers. This paper introduces CourseAssist, a novel LLM-based tutoring system tailored for computer science education. Unlike generic LLM systems, CourseAssist leverages retrieval-augmented generation along with user intent classification and post-processing to ensure that responses align with specific course learning goals, thereby addressing the pedagogical appropriateness of LLMs in educational settings. I evaluate CourseAssist against a baseline of GPT 3.5 using a dataset of 50 question-answer pairs from a programming languages course, focusing on the criteria of usefulness, accuracy, and pedagogical appropriateness. Evaluation results show that CourseAssist significantly outperforms the baseline, demonstrating its potential to serve as an effective learning assistant. This work not only highlights the importance of deliberate design considerations in LLM-based educational tools but also opens up avenues for future research, particularly in understanding user interactions with such systems in real-world scenarios and integrating human educators into LLM-based tutoring systems.
- Abstract（参考訳）: コンピュータサイエンスコースへの入学の増加とクラスサイズの増大は、学生の学習を適切に支援するために、スケーラブルで自動化されたチューリングソリューションを必要とする。
GPT-3.5のようなLarge Language Models (LLMs) は、質問応答を通して学生を支援する可能性を示しているが、教育者は、学生がLLMを誤用したり、不正確な回答を学生に与えていることを懸念している。
本稿では,コンピュータサイエンス教育に適したLLMベースの授業システムであるCourseAssistを紹介する。
一般的なLLMシステムとは異なり、CourseAssistは、ユーザ意図の分類と後処理とともに検索強化世代を活用し、応答が特定のコース学習目標に合致することを保証し、教育環境におけるLLMの教育的適切性に対処する。
GPT 3.5のベースラインに対するCourseAssistの評価には,プログラム言語コースから50対の質問応答対のデータセットを用いて,有用性,正確性,教育的適切性の基準に着目した。
評価の結果,CourseAssistはベースラインを著しく上回り,効果的な学習アシスタントとして機能する可能性が示された。
この研究は、LLMベースの教育ツールにおける意図的な設計思想の重要性を強調するだけでなく、特に現実世界のシナリオにおけるそのようなシステムとのユーザインタラクションの理解や、LLMベースの教育システムへの人間教育者の統合など、将来の研究への道を開く。
関連論文リスト
- Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Integrating AI Tutors in a Programming Course [0.0]
RAGManはLLMベースのチューターシステムで、様々なコース特化および宿題特化AIチューターをサポートする。
本稿では,AI教師とのインタラクション,学生のフィードバック,および比較グレード分析について述べる。
論文 参考訳（メタデータ） (2024-07-14T00:42:39Z) - Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。
本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。
ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
論文 参考訳（メタデータ） (2024-03-05T09:09:15Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - The Robots are Here: Navigating the Generative AI Revolution in
Computing Education [4.877774347152004]
人工知能(AI)の最近の進歩は、コンピューティングを根本的に再構築している。
大規模言語モデル(LLM)は、ソースコードと自然言語命令を効果的に生成、解釈できるようになった。
これらの能力は、教育者がこれらの課題にどう対処すべきかという緊急の疑問を引き起こしている。
論文 参考訳（メタデータ） (2023-10-01T12:54:37Z) - Implementing Learning Principles with a Personal AI Tutor: A Case Study [2.94944680995069]
本研究は,人間の学習過程をモデル化し,学術的性能を効果的に向上するパーソナルAIチューターの能力を示す。
プログラムにAIチューターを統合することで、教育者は、学習科学の原則に基づくパーソナライズされた学習体験を学生に提供することができる。
論文 参考訳（メタデータ） (2023-09-10T15:35:47Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - An Analysis of Programming Course Evaluations Before and After the
Introduction of an Autograder [1.329950749508442]
本稿では,最近自己評価を導入した基礎的コンピュータ科学コースの標準化された大学評価アンケートに対する回答について検討する。
我々は,教師と生徒の交流の改善,コースの質の向上,学習の成功の向上,時間の短縮,難易度の向上など,データに大きな変化をもたらした可能性について仮説を立てた。
オートグレーダ技術は、プログラミングコースにおける生徒の満足度を向上させるための教育方法として検証することができる。
論文 参考訳（メタデータ） (2021-10-28T14:09:44Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。