論文の概要: Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning

• arxiv url: http://arxiv.org/abs/2403.06725v4
• Date: Fri, 25 Oct 2024 10:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:44.764109
• Title: Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning
• Title（参考訳）: 事前学習と重要度メカニズムの微調整による低リソース知識追跡タスクの改善
• Authors: Hengyuan Zhang, Zitao Liu, Shuyan Huang, Chenming Shang, Bojun Zhan, Yong Jiang,
• Abstract要約: 上記の課題に対処するため,低リソースのKTフレームワークであるLoReKTを提案する。 一般的な"事前学習と微調整"パラダイムにインスパイアされた我々は、リッチリソースのKTデータセットから転送可能なパラメータと表現を学習することを目指している。 複数のKTデータソースからの学生のインタラクションを組み込むエンコーディング機構を設計する。
• 参考スコア（独自算出の注目度）: 25.566963415155325
• License:
• Abstract: Knowledge tracing (KT) aims to estimate student's knowledge mastery based on their historical interactions. Recently, the deep learning based KT (DLKT) approaches have achieved impressive performance in the KT task. These DLKT models heavily rely on the large number of available student interactions. However, due to various reasons such as budget constraints and privacy concerns, observed interactions are very limited in many real-world scenarios, a.k.a, low-resource KT datasets. Directly training a DLKT model on a low-resource KT dataset may lead to overfitting and it is difficult to choose the appropriate deep neural architecture. Therefore, in this paper, we propose a low-resource KT framework called LoReKT to address above challenges. Inspired by the prevalent "pre-training and fine-tuning" paradigm, we aim to learn transferable parameters and representations from rich-resource KT datasets during the pre-training stage and subsequently facilitate effective adaptation to low-resource KT datasets. Specifically, we simplify existing sophisticated DLKT model architectures with purely a stack of transformer decoders. We design an encoding mechanism to incorporate student interactions from multiple KT data sources and develop an importance mechanism to prioritize updating parameters with high importance while constraining less important ones during the fine-tuning stage. We evaluate LoReKT on six public KT datasets and experimental results demonstrate the superiority of our approach in terms of AUC and Accuracy. To encourage reproducible research, we make our data and code publicly available at https://github.com/rattlesnakey/LoReKT.
• Abstract（参考訳）: 知識追跡(KT)は、学生の歴史的相互作用に基づいて、学生の知識熟達度を推定することを目的としている。 近年、深層学習に基づくKT(DLKT)アプローチは、KTタスクにおいて顕著なパフォーマンスを実現している。 これらのDLKTモデルは、利用可能な多数の学生相互作用に大きく依存している。 しかしながら、予算制約やプライバシー上の懸念といった様々な理由により、観測された相互作用は、低リソースのKTデータセットなど、多くの現実のシナリオにおいて非常に限定されている。 低リソースのKTデータセットでDLKTモデルを直接トレーニングすることは、過度な適合につながる可能性があり、適切なディープニューラルネットワークアーキテクチャを選択するのは難しい。 そこで本稿では,上記の課題に対処するため,LoReKTと呼ばれる低リソースKTフレームワークを提案する。 事前学習および微調整」パラダイムにインスパイアされた我々は、事前学習段階でリッチリソースのKTデータセットから転送可能なパラメータと表現を学習し、その後、低リソースのKTデータセットへの効果的な適応を容易にすることを目的としている。 具体的には,既存のDLKTモデルアーキテクチャを,純粋にトランスフォーマーデコーダのスタックで単純化する。 我々は、複数のKTデータソースからの学生のインタラクションを組み込むエンコーディング機構を設計し、微調整段階において重要でないパラメータを制約しながら、重要度の高い更新パラメータを優先順位付けする重要なメカニズムを開発する。 6つのパブリックKTデータセット上でLoReKTを評価し,AUCと精度の観点からアプローチの優位性を実証した。 再現可能な研究を促進するため、私たちはhttps://github.com/rattlesnakey/LoReKT.comでデータとコードを公開しています。

関連論文リスト

• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Towards Robust Knowledge Tracing Models via k-Sparse Attention [33.02197868261949]
  textscsparseKTは、注意に基づくDLKTアプローチの堅牢性と一般化を改善するための、シンプルで効果的なフレームワークである。 我々のテキストスパースKTは、注意的なKTモデルが無関係な学生の相互作用を取り除くのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-07-24T08:49:18Z)
• SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
  知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。 大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
  論文  参考訳（メタデータ） (2024-07-01T12:44:52Z)
• Language Model Can Do Knowledge Tracing: Simple but Effective Method to Integrate Language Model and Knowledge Tracing Task [3.1459398432526267]
  本稿では,LKT(Language Model-based Knowledge Tracing)を提案する。 LKTはテキスト情報を効果的に組み込んでおり、大規模なベンチマークデータセットで以前のKTモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-06-05T03:26:59Z)
• pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models [46.05383477261115]
  知識追跡(KT)は、学生の履歴学習インタラクションデータを用いて、時間とともに知識の熟達をモデル化するタスクである。 DLKTアプローチはいまだに不明であり、これらのアプローチの適切な測定と分析は依然として課題である。 我々は、DLKTメソッド間の有効な比較を保証するために、包括的なpythonベースのベンチマークプラットフォームであるtextscpyKTを導入する。
  論文  参考訳（メタデータ） (2022-06-23T02:42:47Z)
• Enhancing Knowledge Tracing via Adversarial Training [5.461665809706664]
  本研究では,学生の知識習得を時間とともに追跡することを目的とした知識追跡問題(KT)について検討する。 KTの最近の進歩は、KTの性能を改善するためにディープニューラルネットワーク(DNN)の探索に集中している。 我々は,効率的なATベースKT法(ATKT)を提案し,KTモデルの一般化を強化し,KTの限界を推し進める。
  論文  参考訳（メタデータ） (2021-08-10T03:35:13Z)
• A Survey of Knowledge Tracing: Models, Variants, and Applications [70.69281873057619]
  知識追跡は、学生の行動データ分析の基本的なタスクの1つである。 我々は、異なる技術経路を持つ3種類の基本KTモデルを示す。 この急速に成長する分野における今後の研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-05-06T13:05:55Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• qDKT: Question-centric Deep Knowledge Tracing [29.431121650577396]
  DKTの変種であるqDKTを導入し、各学習者の成功確率を時間とともにモデル化する。 qDKTはグラフラプラシア正規化を各スキルの下で滑らかな予測に組み込む。 いくつかの実世界のデータセットの実験により、qDKTは学習結果の予測において最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-05-25T23:43:55Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。