論文の概要: Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs

• arxiv url: http://arxiv.org/abs/2409.16490v2
• Date: Tue, 10 Dec 2024 21:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:28.851095
• Title: Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs
• Title（参考訳）: LLMを用いたチュータ学習対話における知識追跡の探索
• Authors: Alexander Scarlatos, Ryan S. Baker, Andrew Lan,
• Abstract要約: 本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
• 参考スコア（独自算出の注目度）: 49.18567856499736
• License:
• Abstract: Recent advances in large language models (LLMs) have led to the development of artificial intelligence (AI)-powered tutoring chatbots, showing promise in providing broad access to high-quality personalized education. Existing works have studied how to make LLMs follow tutoring principles, but have not studied broader uses of LLMs for supporting tutoring. Up until now, tracing student knowledge and analyzing misconceptions has been difficult and time-consuming to implement for open-ended dialogue tutoring. In this work, we investigate whether LLMs can be supportive of this task: we first use LLM prompting methods to identify the knowledge components/skills involved in each dialogue turn, i.e., a tutor utterance posing a task or a student utterance that responds to it. We also evaluate whether the student responds correctly to the tutor and verify the LLM's accuracy using human expert annotations. We then apply a range of knowledge tracing (KT) methods on the resulting labeled data to track student knowledge levels over an entire dialogue. We conduct experiments on two tutoring dialogue datasets, and show that a novel yet simple LLM-based method, LLMKT, significantly outperforms existing KT methods in predicting student response correctness in dialogues. We perform extensive qualitative analyses to highlight the challenges in dialogueKT and outline multiple avenues for future work.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、人工知能(AI)を利用したチューリングチャットボットの開発につながり、高品質なパーソナライズされた教育に幅広いアクセスを提供することの約束を示している。 既存の研究では、LLMを学習原則に従う方法が研究されているが、学習を支援するためにLLMを広く活用する方法は研究されていない。 これまで、学生の知識の追跡と誤解の分析は、オープンエンドの対話学習のための実装に時間がかかり、時間がかかりました。 本研究は,LLMがこの課題を支援することができるかどうかを考察する。まず,各対話のターンに係わる知識コンポーネントやスキル,すなわち,タスクを装う教師の発話,それに応答する学生の発話を識別するために,LLMプロンプト手法を用いる。 また、学生がチューターに正しく反応するかどうかを評価し、人間の専門家アノテーションを用いてLLMの精度を検証した。 次に,得られたラベル付きデータに知識追跡(KT)手法を適用し,対話全体を通して学生の知識レベルを追跡する。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。 我々はダイアログKTにおける課題を明らかにするために、広範囲な質的分析を行い、今後の作業に向けて複数の道筋を概説する。

関連論文リスト

• Position: LLMs Can be Good Tutors in Foreign Language Education [87.88557755407815]
  我々は、外国語教育(FLE)において、大きな言語モデル(LLM)が効果的な家庭教師として機能する可能性を主張する。 具体的には、(1)データエンハンサーとして、(2)学習教材の作成や学生シミュレーションとして、(2)タスク予測器として、学習者の評価や学習経路の最適化に、(3)エージェントとして、そして、パーソナライズされた包括的教育を可能にする3つの重要な役割を果たせる。
  論文  参考訳（メタデータ） (2025-02-08T06:48:49Z)
• Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues [3.2162648244439684]
  本研究では,対話における応答の共感を測り,評価する上で,大規模言語モデルがいかに効果的かを調べるための枠組みを開発する。 我々の戦略は、最新かつ微調整されたLLMの性能を明示的で説明可能な特徴で近似することである。 以上の結果から,組込みのみを用いる場合,ジェネリックLLMに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T20:37:57Z)
• INTERACT: Enabling Interactive, Question-Driven Learning in Large Language Models [15.825663946923289]
  大規模言語モデル(LLM)は、質問に答える能力は優れているが、受動的学習者であり続ける。 本稿では,LLMが学生と教師の対話を通して,対話型,質問駆動型学習にどのように移行できるかを考察する。
  論文  参考訳（メタデータ） (2024-12-16T02:28:53Z)
• Embracing AI in Education: Understanding the Surge in Large Language Model Use by Secondary Students [53.20318273452059]
  OpenAIのChatGPTのような大規模言語モデル(LLM)は、新しい教育の道を開いた。 学校制限にもかかわらず,中高生300人以上を対象に調査を行ったところ,学生の70%がLDMを利用していることがわかった。 我々は、対象特化モデル、パーソナライズドラーニング、AI教室など、このような問題に対処するいくつかのアイデアを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:19:34Z)
• Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
  知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。 伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。 本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
  論文  参考訳（メタデータ） (2024-03-26T00:09:38Z)
• Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
  大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
  論文  参考訳（メタデータ） (2024-02-12T19:49:58Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception [19.335003380399527]
  大規模言語モデル(LLM)は、その教育的有用性を探求する研究の増加とともに、有望な道を提供する。 本研究は,LLM支援学習環境の形成において,教師が果たす役割を強調した。
  論文  参考訳（メタデータ） (2023-10-13T01:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。