論文の概要: On the Interpretability of Deep Learning Based Models for Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2101.11335v1
• Date: Wed, 27 Jan 2021 11:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:40:59.494057
• Title: On the Interpretability of Deep Learning Based Models for Knowledge Tracing
• Title（参考訳）: 知識トレースのための深層学習に基づくモデルの解釈可能性について
• Authors: Xinyi Ding and Eric C. Larson
• Abstract要約: 知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。 Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。 しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
• 参考スコア（独自算出の注目度）: 5.120837730908589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge tracing allows Intelligent Tutoring Systems to infer which topics or skills a student has mastered, thus adjusting curriculum accordingly. Deep Learning based models like Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) have achieved significant improvements compared with models like Bayesian Knowledge Tracing (BKT) and Performance Factors Analysis (PFA). However, these deep learning based models are not as interpretable as other models because the decision-making process learned by deep neural networks is not wholly understood by the research community. In previous work, we critically examined the DKT model, visualizing and analyzing the behaviors of DKT in high dimensional space. In this work, we extend our original analyses with a much larger dataset and add discussions about the memory states of the DKVMN model. We discover that Deep Knowledge Tracing has some critical pitfalls: 1) instead of tracking each skill through time, DKT is more likely to learn an `ability' model; 2) the recurrent nature of DKT reinforces irrelevant information that it uses during the tracking task; 3) an untrained recurrent network can achieve similar results to a trained DKT model, supporting a conclusion that recurrence relations are not properly learned and, instead, improvements are simply a benefit of projection into a high dimensional, sparse vector space. Based on these observations, we propose improvements and future directions for conducting knowledge tracing research using deep neural network models.
• Abstract（参考訳）: 知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測し、カリキュラムを調整できる。 Deep Knowledge Tracing (DKT)やDynamic Key-Value Memory Network (DKVMN)のようなディープラーニングベースのモデルは、Bayesian Knowledge Tracing (BKT)やPerformance Factors Analysis (PFA)のようなモデルと比較して大幅に改善されている。 しかし、ディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが研究コミュニティによって完全には理解されていないため、他のモデルほど解釈できない。 本研究では,高次元空間におけるDKTの挙動を可視化・解析し,DKTモデルについて批判的に検討した。 本研究では,DKVMNモデルのメモリ状態について,より大規模なデータセットを用いて独自の解析を行い,議論を加える。 We discover that Deep Knowledge Tracing has some critical pitfalls: 1) instead of tracking each skill through time, DKT is more likely to learn an `ability' model; 2) the recurrent nature of DKT reinforces irrelevant information that it uses during the tracking task; 3) an untrained recurrent network can achieve similar results to a trained DKT model, supporting a conclusion that recurrence relations are not properly learned and, instead, improvements are simply a benefit of projection into a high dimensional, sparse vector space. これらの観測に基づいて,深層ニューラルネットワークモデルを用いた知識追跡研究のための改良と今後の方向性を提案する。

関連論文リスト

• A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models [26.294808618068146]
  知識追跡は,学生の今後の業績を予測する上で重要な役割を担っている。 ディープニューラルネットワーク(DNN)は、KT問題を解決する大きな可能性を示している。 しかし、KTプロセスのモデル化にディープラーニング技術を適用する際には、いくつかの重要な課題がある。
  論文  参考訳（メタデータ） (2024-03-12T05:15:42Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Deep Knowledge Tracing with Learning Curves [0.9088303226909278]
  本稿では,進化的知識追跡(CAKT)モデルを提案する。 このモデルは、3次元畳み込みニューラルネットワークを用いて、次の質問で同じ知識の概念を適用した学生の最近の経験を明示的に学習する。 CAKTは,既存のモデルと比較して,生徒の反応を予測する上で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-26T15:24:51Z)
• Context-Aware Attentive Knowledge Tracing [21.397976659857793]
  本稿では、フレキシブルアテンションに基づくニューラルネットワークモデルと、新しい解釈可能なモデルコンポーネントを結合した注意知識追跡手法を提案する。 AKTは、学習者の将来の応答と過去の応答に対する評価質問を関連付ける新しいモノトニックアテンションメカニズムを使用する。 AKT は,既存の KT 手法(場合によっては AUC で最大6% 以上)よりも,将来の学習者応答の予測に優れることを示す。
  論文  参考訳（メタデータ） (2020-07-24T02:45:43Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。