論文の概要: Examining the Influence of Varied Levels of Domain Knowledge Base Inclusion in GPT-based Intelligent Tutors
- arxiv url: http://arxiv.org/abs/2309.12367v2
- Date: Mon, 15 Jul 2024 22:14:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 00:00:40.164845
- Title: Examining the Influence of Varied Levels of Domain Knowledge Base Inclusion in GPT-based Intelligent Tutors
- Title（参考訳）: GPTに基づく知的チュータにおけるドメイン知識ベースインクルージョンの潜伏レベルの影響の検討
- Authors: Blake Castleman, Mehmet Kerem Turkcan,
- Abstract要約: 知識ベース(KB)をLLM知能チューターと統合して応答信頼性を高める効果について検討する。
我々は,知的学習システムによって自動的に処理される授業カリキュラムのシームレスな統合を可能にする,スケーラブルなKBを設計する。
KBアクセスを持つ知的家庭教師は,教師のように話し,学生を理解する能力が,ドメインエキスパートよりも優れていることが観察された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advancements in large language models (LLMs) have facilitated the development of chatbots with sophisticated conversational capabilities. However, LLMs exhibit frequent inaccurate responses to queries, hindering applications in educational settings. In this paper, we investigate the effectiveness of integrating a knowledge base (KB) with LLM intelligent tutors to increase response reliability. To achieve this, we design a scaleable KB that affords educational supervisors seamless integration of lesson curricula, which is automatically processed by the intelligent tutoring system. We then detail an evaluation, where student participants were presented with questions about the artificial intelligence curriculum to respond to. GPT-4 intelligent tutors with varying hierarchies of KB access and human domain experts then assessed these responses. Lastly, students cross-examined the intelligent tutors' responses to the domain experts' and ranked their various pedagogical abilities. Results suggest that, although these intelligent tutors still demonstrate a lower accuracy compared to domain experts, the accuracy of the intelligent tutors increases when access to a KB is granted. We also observe that the intelligent tutors with KB access exhibit better pedagogical abilities to speak like a teacher and understand students than those of domain experts, while their ability to help students remains lagging behind domain experts.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、洗練された会話機能を備えたチャットボットの開発を促進する。
しかし、LLMはクエリに対する頻繁な不正確な応答を示し、教育環境における応用を妨げる。
本稿では,知識ベース(KB)をLLM知能チュータと統合して応答信頼性を高める効果について検討する。
そこで我々は,知的学習システムによって自動的に処理される授業カリキュラムのシームレスな統合を実現するための,スケーラブルなKBを設計する。
次に、学生が回答する人工知能カリキュラムに関する質問を参加者に提示する評価について詳述する。
GPT-4はKBアクセスの階層の異なる知的家庭教師と人間のドメインの専門家に応答を評価した。
最後に,知的家庭教師のドメインエキスパートに対する反応を横断的に分析し,その教育的能力について評価した。
その結果、これらの知的チューターはドメインの専門家に比べて依然として精度が低いが、KBへのアクセスが許可されると知的チューターの精度が向上することが示唆された。
また、KBアクセスを持つ知的家庭教師は、教師のように話し、学生を理解する能力が、ドメインエキスパートよりも優れている一方で、学生を支援する能力は、ドメインエキスパートより遅れていることも観察した。
関連論文リスト
- Combining Large Language Models with Tutoring System Intelligence: A Case Study in Caregiver Homework Support [0.8837980599936291]
我々は,Large Language Model (LLM) が生成する会話レコメンデーションを通じて,介護者に対して指導支援を行うシステムを開発する。
教師システムからリアルタイムの問題解決コンテキストを学習プラクティスの例と組み合わせることで、望ましいメッセージレコメンデーションが得られた。
論文 参考訳（メタデータ） (2024-12-16T17:22:40Z) - Personalised Feedback Framework for Online Education Programmes Using Generative AI [0.0]
本稿では,埋め込みを組み込むことでChatGPTの機能を拡張したフィードバックフレームワークを提案する。
本研究の一環として,オープンエンドおよび複数選択質問に対する有効率90%と100%を達成できる概念解の証明を提案し,開発した。
論文 参考訳（メタデータ） (2024-10-14T22:35:40Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。
我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。
我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - CourseAssist: Pedagogically Appropriate AI Tutor for Computer Science Education [1.052788652996288]
このポスターでは、コンピュータサイエンス教育用に作られた新しいLLMベースのチューターシステムであるCourseAssistを紹介している。
一般的なLLMシステムとは異なり、CourseAssistは検索強化生成、ユーザ意図分類、質問分解を使用して、AI応答を特定のコース材料や学習目標と整合させる。
論文 参考訳（メタデータ） (2024-05-01T20:43:06Z) - Retrieval-augmented Generation to Improve Math Question-Answering:
Trade-offs Between Groundedness and Human Preference [0.0]
我々は、高品質なオープンソースの数学教科書からコンテンツを検索して利用し、実際の学生の質問に対する応答を生成するプロンプトを設計する。
マルチ条件サーベイを実施し,中学代数学と幾何学QAのためのRAGシステムの有効性を評価した。
我々は、RAGは応答品質を向上させることができるが、数学のQAシステムの設計者は、学生が好む応答と、特定の教育資源に密接に適合する応答とのトレードオフを検討する必要があると論じる。
論文 参考訳（メタデータ） (2023-10-04T22:09:28Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳（メタデータ） (2023-05-31T11:29:04Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Question Personalization in an Intelligent Tutoring System [5.644357169513361]
教科能力の異なる学生に合った質問を生成すれば,生徒の学習能力が向上することを示す。
この知見は,質問の言語的実現が学生の学習結果に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-05-25T15:23:51Z) - Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。
この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。
決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
論文 参考訳（メタデータ） (2021-02-23T08:07:22Z) - Neural Multi-Task Learning for Teacher Question Detection in Online
Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。
マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文 参考訳（メタデータ） (2020-05-16T02:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。