論文の概要: Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems
- arxiv url: http://arxiv.org/abs/2405.05136v1
- Date: Wed, 24 Apr 2024 18:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-12 15:40:48.834795
- Title: Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems
- Title(参考訳): 知能チューリングシステムにおける長周期データ解析のためのLSTMとBERTの統合
- Authors: Zhaoxing Li, Jujie Yang, Jindi Wang, Lei Shi, Sebastian Stein,
- Abstract要約: 長周期データ処理,すなわちLBKTのためのLSTM BERTに基づく知識追跡モデルを提案する。
その結果、LBKTはより高速で解釈可能であり、従来のディープラーニングベースの知識追跡手法よりもメモリコストが低いことが示唆された。
- 参考スコア(独自算出の注目度): 4.359769884713738
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of Knowledge Tracing aims to understand how students learn and master knowledge over time by analyzing their historical behaviour data. To achieve this goal, many researchers have proposed Knowledge Tracing models that use data from Intelligent Tutoring Systems to predict students' subsequent actions. However, with the development of Intelligent Tutoring Systems, large-scale datasets containing long-sequence data began to emerge. Recent deep learning based Knowledge Tracing models face obstacles such as low efficiency, low accuracy, and low interpretability when dealing with large-scale datasets containing long-sequence data. To address these issues and promote the sustainable development of Intelligent Tutoring Systems, we propose a LSTM BERT-based Knowledge Tracing model for long sequence data processing, namely LBKT, which uses a BERT-based architecture with a Rasch model-based embeddings block to deal with different difficulty levels information and an LSTM block to process the sequential characteristic in students' actions. LBKT achieves the best performance on most benchmark datasets on the metrics of ACC and AUC. Additionally, an ablation study is conducted to analyse the impact of each component of LBKT's overall performance. Moreover, we used t-SNE as the visualisation tool to demonstrate the model's embedding strategy. The results indicate that LBKT is faster, more interpretable, and has a lower memory cost than the traditional deep learning based Knowledge Tracing methods.
- Abstract(参考訳): 知識追跡の分野は、学生が過去の行動データを分析することによって、時間とともに学習し、知識をマスターする方法を理解することを目的としている。
この目標を達成するために、多くの研究者が、Intelligent Tutoring Systemsのデータを使って学生のその後の行動を予測する知識追跡モデルを提案している。
しかし、Intelligent Tutoring Systemsの開発に伴い、長いシーケンスデータを含む大規模データセットが出現し始めた。
最近のディープラーニングベースの知識追跡モデルでは、長いシーケンスデータを含む大規模データセットを扱う際に、低効率、低精度、低解釈可能性といった障害に直面している。
これらの課題に対処し,LSTM BERT をベースとした長周期データ処理のための知識追跡モデル LBKT を提案する。
LBKTは、ACCとAUCのメトリクス上で、ほとんどのベンチマークデータセット上で最高のパフォーマンスを達成する。
さらに,LBKTの全体的な性能に対する各成分の影響を分析するためのアブレーション研究を行った。
さらに、モデルの埋め込み戦略を示すために、可視化ツールとしてt-SNEを使用しました。
その結果、LBKTはより高速で解釈可能であり、従来のディープラーニングベースの知識追跡手法よりもメモリコストが低いことが示唆された。
関連論文リスト
- Enhancing Deep Knowledge Tracing via Diffusion Models for Personalized Adaptive Learning [1.2248793682283963]
本研究は、学習記録におけるデータ不足問題に取り組み、パーソナライズされた適応学習(PAL)のためのDKT性能を向上させることを目的とする。
拡散モデルであるTabDDPMを用いて合成教育記録を生成し、DKTの強化のためのトレーニングデータを強化する。
実験結果から,TabDDPMによるAI生成データにより,DKTの性能が著しく向上することが示された。
論文 参考訳(メタデータ) (2024-04-25T00:23:20Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Big Data Analytics for Network Level Short-Term Travel Time Prediction
with Hierarchical LSTM [0.0]
本稿では,Caltrans Performance Measurement System (PeMS) による大規模走行時間データセットを利用する。
大量のデータの課題を克服するために、ビッグデータ分析エンジンのApache SparkとApache MXNetがデータラングリングとモデリングに使用される。
階層型LSTMモデルは、ネットワークレベルの移動時間の空間的時間的相関を捉えるために、異なる時間スケールでの依存関係を考慮できる。
論文 参考訳(メタデータ) (2022-01-15T05:25:03Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳(メタデータ) (2021-06-14T02:40:32Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳(メタデータ) (2021-01-27T11:55:03Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳(メタデータ) (2020-07-31T14:34:47Z) - Dynamic Knowledge embedding and tracing [18.717482292051788]
本稿では,行列分解の手法と最近のリカレントニューラルネットワーク(RNN)の進歩を組み合わせた知識追跡手法を提案する。
提案するemphDynEmbフレームワークは,概念やスキルのタグ情報を使わずに,学生の知識の追跡を可能にする。
論文 参考訳(メタデータ) (2020-05-18T21:56:42Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。