論文の概要: Examining the Influence of Varied Levels of Domain Knowledge Base
Inclusion in GPT-based Intelligent Tutors
- arxiv url: http://arxiv.org/abs/2309.12367v1
- Date: Sat, 16 Sep 2023 17:12:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-01 12:48:02.144788
- Title: Examining the Influence of Varied Levels of Domain Knowledge Base
Inclusion in GPT-based Intelligent Tutors
- Title（参考訳）: GPTに基づく知的チュータにおけるドメイン知識ベースインクルージョンの潜伏レベルの影響の検討
- Authors: Blake Castleman, Mehmet Kerem Turkcan
- Abstract要約: 知識ベース(KB)をLLM知能チューターと統合して応答信頼性を高める効果について検討する。
我々は,知的学習システムによって自動的に処理される授業カリキュラムのシームレスな統合を可能にする,スケーラブルなKBを設計する。
KBアクセスを持つ知的家庭教師は,教師のように話し,学生を理解する能力が,ドメインエキスパートよりも優れていることが観察された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in large language models (LLMs) have facilitated the
development of chatbots with sophisticated conversational capabilities.
However, LLMs exhibit frequent inaccurate responses to queries, hindering
applications in educational settings. In this paper, we investigate the
effectiveness of integrating a knowledge base (KB) with LLM intelligent tutors
to increase response reliability. To achieve this, we design a scaleable KB
that affords educational supervisors seamless integration of lesson curricula,
which is automatically processed by the intelligent tutoring system. We then
detail an evaluation, where student participants were presented with questions
about the artificial intelligence curriculum to respond to. GPT-4 intelligent
tutors with varying hierarchies of KB access and human domain experts then
assessed these responses. Lastly, students cross-examined the intelligent
tutors' responses to the domain experts' and ranked their various pedagogical
abilities. Results suggest that, although these intelligent tutors still
demonstrate a lower accuracy compared to domain experts, the accuracy of the
intelligent tutors increases when access to a KB is granted. We also observe
that the intelligent tutors with KB access exhibit better pedagogical abilities
to speak like a teacher and understand students than those of domain experts,
while their ability to help students remains lagging behind domain experts.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、洗練された会話機能を備えたチャットボットの開発を促進する。
しかし、llmはクエリに対する頻繁な不正確な応答を示し、教育環境のアプリケーションを妨げる。
本稿では,知識ベース(KB)とLLM知能チュータの統合による応答信頼性向上の有効性について検討する。
そこで我々は,知的学習システムによって自動的に処理される授業カリキュラムのシームレスな統合を可能にする,スケーラブルなKBを設計する。
次に、学生の参加者が反応する人工知能のカリキュラムに関する質問を提示する評価を詳述した。
GPT-4はKBアクセスの階層の異なる知的家庭教師と人間のドメインの専門家に応答を評価した。
最後に,知的家庭教師のドメインエキスパートに対する反応を横断的に分析し,その教育的能力を評価した。
その結果、これらの知的チューターはドメインの専門家に比べて依然として精度が低いが、KBへのアクセスが許可されると知的チューターの精度が向上することが示唆された。
また、KBアクセスを持つ知的家庭教師は、教師のように話し、学生を理解する能力が、ドメインエキスパートよりも優れている一方で、学生を支援する能力は、ドメインエキスパートより遅れていることも観察した。
関連論文リスト
- Personalised Feedback Framework for Online Education Programmes Using Generative AI [0.0]
本稿では,埋め込みを組み込むことでChatGPTの機能を拡張したフィードバックフレームワークを提案する。
本研究の一環として,オープンエンドおよび複数選択質問に対する有効率90%と100%を達成できる概念解の証明を提案し,開発した。
論文 参考訳（メタデータ） (2024-10-14T22:35:40Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues [53.52699766206808]
本稿では,教師と学生の対話における知識追跡(KT)の最初の試みについて述べる。
そこで本研究では,対話の各ターンに係わる知識コンポーネントやスキルを同定する手法を提案する。
次に,得られたラベル付きデータに様々なKT手法を適用し,対話全体を通して学生の知識レベルを追跡する。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [175.9723801486487]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - CourseAssist: Pedagogically Appropriate AI Tutor for Computer Science Education [1.052788652996288]
このポスターでは、コンピュータサイエンス教育用に作られた新しいLLMベースのチューターシステムであるCourseAssistを紹介している。
一般的なLLMシステムとは異なり、CourseAssistは検索強化生成、ユーザ意図分類、質問分解を使用して、AI応答を特定のコース材料や学習目標と整合させる。
論文 参考訳（メタデータ） (2024-05-01T20:43:06Z) - The AI Companion in Education: Analyzing the Pedagogical Potential of ChatGPT in Computer Science and Engineering [1.120999712480549]
本研究は,CSE教育におけるChatGPTの教育的ポテンシャルを包括的に分析することを目的とする。
我々は体系的なアプローチを採用し、CSE分野における多様な教育実践問題を創出する。
我々の調査によると、概念知識クエリのような特定の質問タイプは、一般的にChatGPTに重大な課題を生じさせません。
論文 参考訳（メタデータ） (2024-04-23T21:42:30Z) - Retrieval-augmented Generation to Improve Math Question-Answering:
Trade-offs Between Groundedness and Human Preference [0.0]
我々は、高品質なオープンソースの数学教科書からコンテンツを検索して利用し、実際の学生の質問に対する応答を生成するプロンプトを設計する。
マルチ条件サーベイを実施し,中学代数学と幾何学QAのためのRAGシステムの有効性を評価した。
我々は、RAGは応答品質を向上させることができるが、数学のQAシステムの設計者は、学生が好む応答と、特定の教育資源に密接に適合する応答とのトレードオフを検討する必要があると論じる。
論文 参考訳（メタデータ） (2023-10-04T22:09:28Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳（メタデータ） (2023-05-31T11:29:04Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - Question Personalization in an Intelligent Tutoring System [5.644357169513361]
教科能力の異なる学生に合った質問を生成すれば,生徒の学習能力が向上することを示す。
この知見は,質問の言語的実現が学生の学習結果に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-05-25T15:23:51Z) - Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。
この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。
決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
論文 参考訳（メタデータ） (2021-02-23T08:07:22Z) - Neural Multi-Task Learning for Teacher Question Detection in Online
Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。
マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文 参考訳（メタデータ） (2020-05-16T02:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。