論文の概要: Language Model Can Do Knowledge Tracing: Simple but Effective Method to Integrate Language Model and Knowledge Tracing Task
- arxiv url: http://arxiv.org/abs/2406.02893v1
- Date: Wed, 5 Jun 2024 03:26:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 22:05:49.138812
- Title: Language Model Can Do Knowledge Tracing: Simple but Effective Method to Integrate Language Model and Knowledge Tracing Task
- Title（参考訳）: 言語モデルでは知識追跡が可能:言語モデルと知識追跡タスクを統合するシンプルだが効果的な方法
- Authors: Unggi Lee, Jiyeong Bae, Dohee Kim, Sookbun Lee, Jaekwon Park, Taekyung Ahn, Gunho Lee, Damji Stratton, Hyeoncheol Kim,
- Abstract要約: 本稿では,LKT(Language Model-based Knowledge Tracing)を提案する。
LKTはテキスト情報を効果的に組み込んでおり、大規模なベンチマークデータセットで以前のKTモデルよりも大幅に優れている。
- 参考スコア（独自算出の注目度）: 3.1459398432526267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Tracing (KT) is a critical task in online learning for modeling student knowledge over time. Despite the success of deep learning-based KT models, which rely on sequences of numbers as data, most existing approaches fail to leverage the rich semantic information in the text of questions and concepts. This paper proposes Language model-based Knowledge Tracing (LKT), a novel framework that integrates pre-trained language models (PLMs) with KT methods. By leveraging the power of language models to capture semantic representations, LKT effectively incorporates textual information and significantly outperforms previous KT models on large benchmark datasets. Moreover, we demonstrate that LKT can effectively address the cold-start problem in KT by leveraging the semantic knowledge captured by PLMs. Interpretability of LKT is enhanced compared to traditional KT models due to its use of text-rich data. We conducted the local interpretable model-agnostic explanation technique and analysis of attention scores to interpret the model performance further. Our work highlights the potential of integrating PLMs with KT and paves the way for future research in KT domain.
- Abstract（参考訳）: KT(Knowledge Tracing)は、学生の知識を時間とともにモデリングするオンライン学習において重要なタスクである。
数列をデータとして依存するディープラーニングベースのKTモデルの成功にもかかわらず、既存のアプローチのほとんどは、質問や概念のテキストのリッチなセマンティック情報を活用することができない。
本稿では、事前学習された言語モデル(PLM)とKTメソッドを統合する新しいフレームワークである言語モデルに基づく知識追跡(LKT)を提案する。
セマンティック表現をキャプチャするために言語モデルのパワーを活用することで、LKTはテキスト情報を効果的に取り入れ、大規模なベンチマークデータセットで以前のKTモデルよりも大幅に優れている。
さらに,PLMが獲得した意味的知識を活用することで,LKTがKTのコールドスタート問題に効果的に対処できることを実証した。
LKTの解釈性は、テキストリッチなデータを使用するため、従来のKTモデルと比較して向上している。
そこで我々は,局所的解釈可能なモデルに依存しない説明手法と注意点の分析を行い,モデル性能をさらに解釈した。
我々の研究は、PLMとKTの統合の可能性を強調し、KTドメインにおける今後の研究の道を開くものである。
関連論文リスト
- Beyond Right and Wrong: Mitigating Cold Start in Knowledge Tracing Using Large Language Model and Option Weight [0.14999444543328289]
知識追跡(KT)は教育データマイニングにおいて不可欠であり、パーソナライズされた学習を可能にする。
本研究では,LOKT(Large Language Model Option-weighted Knowledge Tracing)モデルを導入し,コールドスタート問題に対処する。
論文 参考訳（メタデータ） (2024-10-14T16:25:48Z) - SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。
大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT)
SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
論文 参考訳（メタデータ） (2024-07-01T12:44:52Z) - CLST: Cold-Start Mitigation in Knowledge Tracing by Aligning a Generative Language Model as a Students' Knowledge Tracer [1.6713666776851528]
学生の知識トレーサとして生成言語モデルを整列させることにより、知識追跡におけるコールドスタート緩和を提案する(T)。
我々は、自然言語処理タスクとしてKTタスクをフレーム化し、自然言語で問題解決データを表現した。
各種ベースラインモデルを用いたデータ不足状況におけるCLSTの性能評価を行った。
論文 参考訳（メタデータ） (2024-06-13T09:21:43Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning [25.566963415155325]
上記の課題に対処するため,低リソースのKTフレームワークであるLoReKTを提案する。
一般的な"事前学習と微調整"パラダイムにインスパイアされた我々は、リッチリソースのKTデータセットから転送可能なパラメータと表現を学習することを目指している。
複数のKTデータソースからの学生のインタラクションを組み込むエンコーディング機構を設計する。
論文 参考訳（メタデータ） (2024-03-11T13:44:43Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳（メタデータ） (2023-07-16T00:45:42Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - pyKT: A Python Library to Benchmark Deep Learning based Knowledge
Tracing Models [46.05383477261115]
知識追跡(KT)は、学生の履歴学習インタラクションデータを用いて、時間とともに知識の熟達をモデル化するタスクである。
DLKTアプローチはいまだに不明であり、これらのアプローチの適切な測定と分析は依然として課題である。
我々は、DLKTメソッド間の有効な比較を保証するために、包括的なpythonベースのベンチマークプラットフォームであるtextscpyKTを導入する。
論文 参考訳（メタデータ） (2022-06-23T02:42:47Z) - qDKT: Question-centric Deep Knowledge Tracing [29.431121650577396]
DKTの変種であるqDKTを導入し、各学習者の成功確率を時間とともにモデル化する。
qDKTはグラフラプラシア正規化を各スキルの下で滑らかな予測に組み込む。
いくつかの実世界のデータセットの実験により、qDKTは学習結果の予測において最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2020-05-25T23:43:55Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳（メタデータ） (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。