論文の概要: Improving Deep Knowledge Tracing via Gated Architectures and Adaptive Optimization
- arxiv url: http://arxiv.org/abs/2504.20070v1
- Date: Thu, 24 Apr 2025 14:24:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.559148
- Title: Improving Deep Knowledge Tracing via Gated Architectures and Adaptive Optimization
- Title（参考訳）: ゲーテッドアーキテクチャによる深い知識の追跡と適応最適化
- Authors: Altun Shukurlu,
- Abstract要約: Deep Knowledge Tracing (DKT) は、Recurrent Networks (RNN) を用いて学生の学習行動をモデル化し、過去のインタラクションデータに基づいて将来のパフォーマンスを予測する。
本稿では、アーキテクチャ改善と最適化という2つの観点からDKTモデルを再考する。
まず、ゲートリカレントユニット、特にLong Short-Term Memory(LSTM)ネットワークとGated Recurrent Units(GRU)を用いてモデルを強化する。
次に、PyTorchフレームワークを使用してDKTを再実装し、モダンなディープラーニングと互換性のあるモジュラーでアクセス可能なインフラを実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Knowledge Tracing (DKT) models student learning behavior by using Recurrent Neural Networks (RNNs) to predict future performance based on historical interaction data. However, the original implementation relied on standard RNNs in the Lua-based Torch framework, which limited extensibility and reproducibility. In this work, we revisit the DKT model from two perspectives: architectural improvements and optimization efficiency. First, we enhance the model using gated recurrent units, specifically Long Short-Term Memory (LSTM) networks and Gated Recurrent Units (GRU), which better capture long-term dependencies and help mitigate vanishing gradient issues. Second, we re-implement DKT using the PyTorch framework, enabling a modular and accessible infrastructure compatible with modern deep learning workflows. We also benchmark several optimization algorithms SGD, RMSProp, Adagrad, Adam, and AdamW to evaluate their impact on convergence speed and predictive accuracy in educational modeling tasks. Experiments on the Synthetic-5 and Khan Academy datasets show that GRUs and LSTMs achieve higher accuracy and improved training stability compared to basic RNNs, while adaptive optimizers such as Adam and AdamW consistently outperform SGD in both early-stage learning and final model performance. Our open-source PyTorch implementation provides a reproducible and extensible foundation for future research in neural knowledge tracing and personalized learning systems.
- Abstract（参考訳）: ディープ・ナレッジ・トラシング(DKT)は、リカレントニューラルネットワーク(RNN)を用いて、過去のインタラクションデータに基づいて将来のパフォーマンスを予測することによって、学生の学習行動をモデル化する。
しかし、オリジナルの実装はLuaベースのTorchフレームワークの標準RNNに依存しており、拡張性と再現性に制限があった。
本稿では、アーキテクチャ改善と最適化効率の2つの観点からDKTモデルを再考する。
まず,ゲート型リカレントユニット,特にLong Short-Term Memory (LSTM) ネットワークとGated Recurrent Units (GRU) を用いて,長期的依存関係をよりよく把握し,勾配問題を緩和するモデルを強化する。
次に、PyTorchフレームワークを使用してDKTを再実装し、モダンなディープラーニングワークフローと互換性のあるモジュラーでアクセス可能なインフラストラクチャを実現する。
また,SGD,RMSProp,Adagrad,Adam,AdamWなどの最適化アルゴリズムをベンチマークし,学習モデルタスクにおける収束速度と予測精度への影響を評価する。
Synthetic-5とKhan Academyのデータセットの実験によると、GRUとLSTMは基本的なRNNよりも精度が高く、トレーニングの安定性が向上している。
私たちのオープンソースのPyTorch実装は、神経知識の追跡とパーソナライズされた学習システムに関する将来の研究のために、再現可能で拡張可能な基盤を提供します。
関連論文リスト
- Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Transfer Learning in Deep Learning Models for Building Load Forecasting:
Case of Limited Data [0.0]
本稿では,この問題を克服し,ディープラーニングモデルの性能を向上させるためのビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。
提案手法は,スクラッチからトレーニングを行う従来のディープラーニングと比較して,予測精度を56.8%向上させた。
論文 参考訳（メタデータ） (2023-01-25T16:05:47Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - RLFlow: Optimising Neural Network Subgraph Transformation with World
Models [0.0]
本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。
提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-03T11:52:54Z) - Temporal Convolution Domain Adaptation Learning for Crops Growth
Prediction [5.966652553573454]
我々は、限られた作物データを用いて、作物の成長曲線を予測するために、ドメイン適応学習に基づく革新的なネットワークアーキテクチャを構築した。
私たちは、時間的畳み込みフィルタをバックボーンとして使用し、ドメイン適応ネットワークアーキテクチャを構築しました。
その結果,提案した時間的畳み込みに基づくネットワークアーキテクチャは,精度だけでなく,モデルサイズや収束率においても,すべてのベンチマークより優れていた。
論文 参考訳（メタデータ） (2022-02-24T14:22:36Z) - Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。
この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
論文 参考訳（メタデータ） (2021-08-02T08:14:59Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳（メタデータ） (2021-01-27T11:55:03Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳（メタデータ） (2020-05-04T03:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。