論文の概要: Towards Interpretable Deep Learning Models for Knowledge Tracing
- arxiv url: http://arxiv.org/abs/2005.06139v1
- Date: Wed, 13 May 2020 04:03:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 10:17:03.078443
- Title: Towards Interpretable Deep Learning Models for Knowledge Tracing
- Title（参考訳）: 知識トレースのための解釈可能な深層学習モデルに向けて
- Authors: Yu Lu, Deliang Wang, Qinggang Meng, Penghe Chen
- Abstract要約: 本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
- 参考スコア（独自算出の注目度）: 62.75876617721375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an important technique for modeling the knowledge states of learners, the
traditional knowledge tracing (KT) models have been widely used to support
intelligent tutoring systems and MOOC platforms. Driven by the fast
advancements of deep learning techniques, deep neural network has been recently
adopted to design new KT models for achieving better prediction performance.
However, the lack of interpretability of these models has painfully impeded
their practical applications, as their outputs and working mechanisms suffer
from the intransparent decision process and complex inner structures. We thus
propose to adopt the post-hoc method to tackle the interpretability issue for
deep learning based knowledge tracing (DLKT) models. Specifically, we focus on
applying the layer-wise relevance propagation (LRP) method to interpret
RNN-based DLKT model by backpropagating the relevance from the model's output
layer to its input layer. The experiment results show the feasibility using the
LRP method for interpreting the DLKT model's predictions, and partially
validate the computed relevance scores from both question level and concept
level. We believe it can be a solid step towards fully interpreting the DLKT
models and promote their practical applications in the education domain.
- Abstract（参考訳）: 学習者の知識状態をモデル化する重要な手法として,知的学習システムやMOOCプラットフォームをサポートするために,従来の知識追跡(KT)モデルが広く用いられている。
ディープラーニング技術の急速な進歩によって駆動されるディープニューラルネットワークは、予測性能を改善するために、最近、新しいKTモデルを設計するために採用されている。
しかしながら、これらのモデルの解釈可能性の欠如は、その出力と動作機構が不透明な決定プロセスと複雑な内部構造に悩まされているため、その実践的応用を困難にしている。
そこで我々は,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、モデルの出力層から入力層への関連性を逆伝搬することにより、RNNベースのDLKTモデルの解釈にLRP法を適用することに焦点を当てる。
実験の結果,LRP法を用いてDLKTモデルの予測を解釈し,問題レベルと概念レベルの両方から計算された妥当性スコアを部分的に検証した。
我々は,DLKTモデルを完全に解釈し,教育分野における実践的応用を促進するための確かなステップであると考えている。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-24T07:58:20Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳（メタデータ） (2022-06-17T16:18:28Z) - Towards Interpretable Deep Reinforcement Learning Models via Inverse
Reinforcement Learning [27.841725567976315]
本稿では,逆逆強化学習を利用した新しいフレームワークを提案する。
このフレームワークは、強化学習モデルによる決定のグローバルな説明を提供する。
モデルの意思決定過程を要約することで、モデルが従う直感的な傾向を捉える。
論文 参考訳（メタデータ） (2022-03-30T17:01:59Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳（メタデータ） (2021-01-27T11:55:03Z) - Explaining Deep Learning Models for Structured Data using Layer-Wise
Relevance Propagation [0.0]
LRP(Layer-wise Relevance)は、コンピュータビジョンにおける深層モデルのための確立された説明可能性技術であり、入力画像の直感的な可読熱マップを提供する。
本稿では,LIME(Local Interpretable Model-Agnostic Ex-planations)とSHAP(Shapley Additive Explanations)の従来の説明可能性概念よりも,LRPが有効であることを示す。
論文 参考訳（メタデータ） (2020-11-26T18:34:21Z) - Deep Knowledge Tracing with Learning Curves [0.9088303226909278]
本稿では,進化的知識追跡(CAKT)モデルを提案する。
このモデルは、3次元畳み込みニューラルネットワークを用いて、次の質問で同じ知識の概念を適用した学生の最近の経験を明示的に学習する。
CAKTは,既存のモデルと比較して,生徒の反応を予測する上で,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-07-26T15:24:51Z) - Context-Aware Attentive Knowledge Tracing [21.397976659857793]
本稿では、フレキシブルアテンションに基づくニューラルネットワークモデルと、新しい解釈可能なモデルコンポーネントを結合した注意知識追跡手法を提案する。
AKTは、学習者の将来の応答と過去の応答に対する評価質問を関連付ける新しいモノトニックアテンションメカニズムを使用する。
AKT は,既存の KT 手法(場合によっては AUC で最大6% 以上)よりも,将来の学習者応答の予測に優れることを示す。
論文 参考訳（メタデータ） (2020-07-24T02:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。