Fugu-MT 論文翻訳(概要): Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems

論文の概要: Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems

arxiv url: http://arxiv.org/abs/2405.05136v1
Date: Wed, 24 Apr 2024 18:19:44 GMT
ステータス: 処理完了
システム内更新日: 2024-05-12 15:40:48.834795
Title: Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems
Title（参考訳）: 知能チューリングシステムにおける長周期データ解析のためのLSTMとBERTの統合
Authors: Zhaoxing Li, Jujie Yang, Jindi Wang, Lei Shi, Sebastian Stein,
Abstract要約: 長周期データ処理,すなわちLBKTのためのLSTM BERTに基づく知識追跡モデルを提案する。その結果、LBKTはより高速で解釈可能であり、従来のディープラーニングベースの知識追跡手法よりもメモリコストが低いことが示唆された。
参考スコア（独自算出の注目度）: 4.359769884713738
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The field of Knowledge Tracing aims to understand how students learn and master knowledge over time by analyzing their historical behaviour data. To achieve this goal, many researchers have proposed Knowledge Tracing models that use data from Intelligent Tutoring Systems to predict students' subsequent actions. However, with the development of Intelligent Tutoring Systems, large-scale datasets containing long-sequence data began to emerge. Recent deep learning based Knowledge Tracing models face obstacles such as low efficiency, low accuracy, and low interpretability when dealing with large-scale datasets containing long-sequence data. To address these issues and promote the sustainable development of Intelligent Tutoring Systems, we propose a LSTM BERT-based Knowledge Tracing model for long sequence data processing, namely LBKT, which uses a BERT-based architecture with a Rasch model-based embeddings block to deal with different difficulty levels information and an LSTM block to process the sequential characteristic in students' actions. LBKT achieves the best performance on most benchmark datasets on the metrics of ACC and AUC. Additionally, an ablation study is conducted to analyse the impact of each component of LBKT's overall performance. Moreover, we used t-SNE as the visualisation tool to demonstrate the model's embedding strategy. The results indicate that LBKT is faster, more interpretable, and has a lower memory cost than the traditional deep learning based Knowledge Tracing methods.
Abstract（参考訳）: 知識追跡の分野は、学生が過去の行動データを分析することによって、時間とともに学習し、知識をマスターする方法を理解することを目的としている。この目標を達成するために、多くの研究者が、Intelligent Tutoring Systemsのデータを使って学生のその後の行動を予測する知識追跡モデルを提案している。しかし、Intelligent Tutoring Systemsの開発に伴い、長いシーケンスデータを含む大規模データセットが出現し始めた。最近のディープラーニングベースの知識追跡モデルでは、長いシーケンスデータを含む大規模データセットを扱う際に、低効率、低精度、低解釈可能性といった障害に直面している。これらの課題に対処し,LSTM BERT をベースとした長周期データ処理のための知識追跡モデル LBKT を提案する。 LBKTは、ACCとAUCのメトリクス上で、ほとんどのベンチマークデータセット上で最高のパフォーマンスを達成する。さらに,LBKTの全体的な性能に対する各成分の影響を分析するためのアブレーション研究を行った。さらに、モデルの埋め込み戦略を示すために、可視化ツールとしてt-SNEを使用しました。その結果、LBKTはより高速で解釈可能であり、従来のディープラーニングベースの知識追跡手法よりもメモリコストが低いことが示唆された。

関連論文リスト

Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-07-26T14:07:00Z)
Enhancing Deep Knowledge Tracing via Diffusion Models for Personalized Adaptive Learning [1.2248793682283963]
本研究は、学習記録におけるデータ不足問題に取り組み、パーソナライズされた適応学習(PAL)のためのDKT性能を向上させることを目的とする。拡散モデルであるTabDDPMを用いて合成教育記録を生成し、DKTの強化のためのトレーニングデータを強化する。実験結果から,TabDDPMによるAI生成データにより,DKTの性能が著しく向上することが示された。
論文参考訳（メタデータ） (2024-04-25T00:23:20Z)
Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文参考訳（メタデータ） (2021-06-14T02:40:32Z)
PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文参考訳（メタデータ） (2021-03-17T08:28:30Z)
On the Interpretability of Deep Learning Based Models for Knowledge Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。 Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文参考訳（メタデータ） (2021-01-27T11:55:03Z)
Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文参考訳（メタデータ） (2020-12-15T16:29:49Z)
Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。この現象は脳波(EEG)などの臨床関連データに特に問題となる。ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文参考訳（メタデータ） (2020-07-31T14:34:47Z)
Dynamic Knowledge embedding and tracing [18.717482292051788]
本稿では,行列分解の手法と最近のリカレントニューラルネットワーク(RNN)の進歩を組み合わせた知識追跡手法を提案する。提案するemphDynEmbフレームワークは,概念やスキルのタグ情報を使わずに,学生の知識の追跡を可能にする。
論文参考訳（メタデータ） (2020-05-18T21:56:42Z)
Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。