論文の概要: Explainable Few-shot Knowledge Tracing
- arxiv url: http://arxiv.org/abs/2405.14391v2
- Date: Sun, 26 May 2024 03:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:59:12.394125
- Title: Explainable Few-shot Knowledge Tracing
- Title(参考訳): 説明可能なわずかな知識の追跡
- Authors: Haoxuan Li, Jifan Yu, Yuanxin Ouyang, Zhuang Liu, Wenge Rong, Juanzi Li, Zhang Xiong,
- Abstract要約: 本稿では,学生の記録から学生の知識をトラッキングし,自然言語による説明を提供する認知誘導フレームワークを提案する。
3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
- 参考スコア(独自算出の注目度): 48.877979333221326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge tracing (KT), aiming to mine students' mastery of knowledge by their exercise records and predict their performance on future test questions, is a critical task in educational assessment. While researchers achieved tremendous success with the rapid development of deep learning techniques, current knowledge tracing tasks fall into the cracks from real-world teaching scenarios. Relying heavily on extensive student data and solely predicting numerical performances differs from the settings where teachers assess students' knowledge state from limited practices and provide explanatory feedback. To fill this gap, we explore a new task formulation: Explainable Few-shot Knowledge Tracing. By leveraging the powerful reasoning and generation abilities of large language models (LLMs), we then propose a cognition-guided framework that can track the student knowledge from a few student records while providing natural language explanations. Experimental results from three widely used datasets show that LLMs can perform comparable or superior to competitive deep knowledge tracing methods. We also discuss potential directions and call for future improvements in relevant topics.
- Abstract(参考訳): 知識追跡(KT)は,学生の演習記録による知識習得のマイニングと,将来のテスト課題におけるパフォーマンスの予測を目的とした,教育評価における重要な課題である。
研究者たちは、ディープラーニング技術の急速な開発で大きな成功を収めたが、現在の知識追跡タスクは、現実世界の教育シナリオのひび割れに陥る。
教員が限られた実践から学生の知識状態を評価し、説明的フィードバックを与える設定とは大きく異なる。
このギャップを埋めるために、新しいタスクの定式化を探る。
大規模言語モデル(LLM)の強力な推論と生成能力を活用することで,学生の学習記録から学生の知識を追跡できる認知誘導フレームワークを提案する。
3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
また、今後の方向性についても論じ、今後の話題の改善を求める。
関連論文リスト
- Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。
算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。
強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文 参考訳(メタデータ) (2024-06-19T23:30:01Z) - Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。
本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文 参考訳(メタデータ) (2024-06-11T15:58:59Z) - Leveraging Pedagogical Theories to Understand Student Learning Process with Graph-based Reasonable Knowledge Tracing [11.082908318943248]
本稿では,これらの問題に対処するためのグラフベースの合理的知識追跡手法GRKTを紹介する。
本稿では,知識検索,記憶強化,知識学習・鍛造の3段階モデリングプロセスを提案する。
論文 参考訳(メタデータ) (2024-06-07T10:14:30Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Leveraging Skill-to-Skill Supervision for Knowledge Tracing [13.753990664747265]
知識追跡は知的学習システムにおいて重要な役割を担っている。
知識追跡モデルの最近の進歩は、問題解決の歴史をよりうまく活用することを可能にしている。
知識を直接組み込む知識トレースアルゴリズムは、限られたデータやコールドスタートの設定において重要である。
論文 参考訳(メタデータ) (2023-06-12T03:23:22Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳(メタデータ) (2023-03-20T17:54:58Z) - Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。
知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
論文 参考訳(メタデータ) (2022-01-27T05:41:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。