論文の概要: Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour

• arxiv url: http://arxiv.org/abs/2511.02599v1
• Date: Tue, 04 Nov 2025 14:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.067969
• Title: Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
• Title（参考訳）: 次のトークン知識の追跡:学生の振る舞いを復号するために事前訓練されたLLM表現を爆発させる
• Authors: Max Norris, Kobi Gal, Sahan Bulathwela,
• Abstract要約: 知識追跡タスクは、学習環境における教育的質問に対する学生の反応を予測することを目的としている。 既存のKTモデルは、通常、スキルタグやタイムスタンプといったメタデータとともに応答の正しさを使用し、しばしば質問テキストを見渡す。 提案するNext Token Knowledge Tracing(NTKT)は,事前訓練された大規模言語モデルを用いて,KTを次のトークン予測タスクとして再編成する手法である。
• 参考スコア（独自算出の注目度）: 5.32438871812364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modelling student knowledge is a key challenge when leveraging AI in education, with major implications for personalised learning. The Knowledge Tracing (KT) task aims to predict how students will respond to educational questions in learning environments, based on their prior interactions. Existing KT models typically use response correctness along with metadata like skill tags and timestamps, often overlooking the question text, which is an important source of pedagogical insight. This omission poses a lost opportunity while limiting predictive performance. We propose Next Token Knowledge Tracing (NTKT), a novel approach that reframes KT as a next-token prediction task using pretrained Large Language Models (LLMs). NTKT represents both student histories and question content as sequences of text, allowing LLMs to learn patterns in both behaviour and language. Our series of experiments significantly improves performance over state-of-the-art neural KT models and generalises much better to cold-start questions and users. These findings highlight the importance of question content in KT and demonstrate the benefits of leveraging pretrained representations of LLMs to model student learning more effectively.
• Abstract（参考訳）: 学生の知識をモデル化することは、教育においてAIを活用する上で重要な課題であり、パーソナライズドラーニングにとって大きな意味を持つ。 KT(Knowledge Tracing)タスクは、学生が学習環境における教育的質問に対して、以前のインタラクションに基づいてどのように反応するかを予測することを目的としている。 既存のKTモデルは、通常、スキルタグやタイムスタンプといったメタデータとともに応答の正しさを使用し、しばしば質問テキストを見渡す。 この省略は、予測性能を制限しながら、失われた機会をもたらす。 我々は,事前学習されたLarge Language Models (LLM) を用いて,KTを次の学習予測タスクとして再編成する新しい手法であるNext Token Knowledge Tracing (NTKT)を提案する。 NTKTは学生の歴史と質問内容の両方をテキストのシーケンスとして表現し、LCMは行動と言語の両方のパターンを学ぶことができる。 我々の一連の実験は、最先端のニューラルKTモデルよりも性能を著しく向上させ、コールドスタートの質問やユーザよりもはるかに良く一般化する。 これらの知見は,KTにおける質問内容の重要性を浮き彫りにして,学生の学習をより効果的にモデル化するために,LLMの事前学習表現を活用する利点を実証するものである。

関連論文リスト

• Not All Options Are Created Equal: Textual Option Weighting for Token-Efficient LLM-Based Knowledge Tracing [0.14999444543328289]
  大規模言語モデル(LLM)が知識追跡のための有望なツールとして登場した。 実例学習者のインタラクション履歴を文脈でエンコードするフレームワークであるtextitLLM を用いた Option-weighted Knowledge Tracing (LOKT) を提案する。 LOKTはスケーラブルでコスト効率のよい推論を可能にし、厳密なトークン制約の下でも強力なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-14T16:25:48Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
  知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。 大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
  論文  参考訳（メタデータ） (2024-07-01T12:44:52Z)
• A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models [26.294808618068146]
  知識追跡は,学生の今後の業績を予測する上で重要な役割を担っている。 ディープニューラルネットワーク(DNN)は、KT問題を解決する大きな可能性を示している。 しかし、KTプロセスのモデル化にディープラーニング技術を適用する際には、いくつかの重要な課題がある。
  論文  参考訳（メタデータ） (2024-03-12T05:15:42Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。