論文の概要: Deep Learning Models for Knowledge Tracing: Review and Empirical
Evaluation
- arxiv url: http://arxiv.org/abs/2112.15072v1
- Date: Thu, 30 Dec 2021 14:19:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 15:05:08.103356
- Title: Deep Learning Models for Knowledge Tracing: Review and Empirical
Evaluation
- Title(参考訳): 知識追跡のためのディープラーニングモデル:レビューと実証評価
- Authors: Sami Sarsa, Juho Leinonen, Arto Hellas
- Abstract要約: 我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。
評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
- 参考スコア(独自算出の注目度): 2.423547527175807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we review and evaluate a body of deep learning knowledge
tracing (DLKT) models with openly available and widely-used data sets, and with
a novel data set of students learning to program. The evaluated DLKT models
have been reimplemented for assessing reproducibility and replicability of
previously reported results. We test different input and output layer
variations found in the compared models that are independent of the main
architectures of the models, and different maximum attempt count options that
have been implicitly and explicitly used in some studies. Several metrics are
used to reflect on the quality of the evaluated knowledge tracing models. The
evaluated knowledge tracing models include Vanilla-DKT, two Long Short-Term
Memory Deep Knowledge Tracing (LSTM-DKT) variants, two Dynamic Key-Value Memory
Network (DKVMN) variants, and Self-Attentive Knowledge Tracing (SAKT). We
evaluate logistic regression, Bayesian Knowledge Tracing (BKT) and simple
non-learning models as baselines. Our results suggest that the DLKT models in
general outperform non-DLKT models, and the relative differences between the
DLKT models are subtle and often vary between datasets. Our results also show
that naive models such as mean prediction can yield better performance than
more sophisticated knowledge tracing models, especially in terms of accuracy.
Further, our metric and hyperparameter analysis shows that the metric used to
select the best model hyperparameters has a noticeable effect on the
performance of the models, and that metric choice can affect model ranking. We
also study the impact of input and output layer variations, filtering out long
attempt sequences, and non-model properties such as randomness and hardware.
Finally, we discuss model performance replicability and related issues. Our
model implementations, evaluation code, and data are published as a part of
this work.
- Abstract(参考訳): 本研究では,オープンで広く利用されているデータセットと,プログラミングを学ぶ学生の新しいデータセットを用いて,ディープラーニング知識トレース(dlkt)モデルの体系をレビューし,評価する。
評価されたDLKTモデルを再現性と再現性の評価のために再実装した。
我々は,モデルの主要アーキテクチャとは独立な比較モデルにおける入力層と出力層のバリエーションをテストし,いくつかの研究で暗黙的かつ明示的に使用された最大試行回数オプションをテストした。
評価された知識追跡モデルの品質を反映するために、いくつかのメトリクスが使用される。
評価された知識追跡モデルには、Vanilla-DKT、Long Short-Term Memory Deep Knowledge Tracing (LSTM-DKT)、Dynamic Key-Value Memory Network (DKVMN)、Self-Attentive Knowledge Tracing (SAKT)などがある。
我々は,ロジスティック回帰,ベイズ知識追跡(BKT)および単純な非学習モデルをベースラインとして評価する。
以上の結果から,DLKTモデルは一般の非DLKTモデルよりも優れており,DLKTモデル間の相対的差異は微妙であり,データセット間でもしばしば異なることが示唆された。
また, 平均予測などのナイーブモデルにより, 特に精度の点で, 高度な知識追跡モデルよりも優れた性能が得られることを示した。
さらに, パラメータおよびハイパーパラメータ分析により, 最適モデルハイパーパラメータの選択に使用するメトリックが, モデルの性能に顕著な影響を及ぼし, パラメータ選択がモデルランキングに影響を及ぼすことを示した。
また,入力層と出力層の変動の影響,長い試行シーケンスのフィルタリング,ランダム性やハードウェアなどの非モデル特性についても検討した。
最後に、モデル性能の再現性と関連する問題について論じる。
私たちのモデル実装、評価コード、データは、この作業の一部として公開されています。
関連論文リスト
- QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳(メタデータ) (2023-01-11T11:10:32Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳(メタデータ) (2022-12-15T19:49:34Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳(メタデータ) (2021-01-27T11:55:03Z) - Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。
本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。
以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
論文 参考訳(メタデータ) (2020-07-13T05:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。