論文の概要: Consistency and Monotonicity Regularization for Neural Knowledge Tracing
- arxiv url: http://arxiv.org/abs/2105.00607v1
- Date: Mon, 3 May 2021 02:36:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 22:35:58.991878
- Title: Consistency and Monotonicity Regularization for Neural Knowledge Tracing
- Title(参考訳): 神経知識追跡のための一貫性と単調性正規化
- Authors: Seewoo Lee, Youngduck Choi, Juneyoung Park, Byungsoo Kim and Jinwoo
Shin
- Abstract要約: 人間の知識獲得を追跡する知識追跡(KT)は、オンライン学習と教育におけるAIの中心的なコンポーネントです。
本稿では, 新たなデータ拡張, 代替, 挿入, 削除の3種類と, 対応する正規化損失を提案する。
さまざまなKTベンチマークに関する広範な実験は、私たちの正規化スキームがモデルのパフォーマンスを一貫して改善することを示しています。
- 参考スコア(独自算出の注目度): 50.92661409499299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Tracing (KT), tracking a human's knowledge acquisition, is a
central component in online learning and AI in Education. In this paper, we
present a simple, yet effective strategy to improve the generalization ability
of KT models: we propose three types of novel data augmentation, coined
replacement, insertion, and deletion, along with corresponding regularization
losses that impose certain consistency or monotonicity biases on the model's
predictions for the original and augmented sequence. Extensive experiments on
various KT benchmarks show that our regularization scheme consistently improves
the model performances, under 3 widely-used neural networks and 4 public
benchmarks, e.g., it yields 6.3% improvement in AUC under the DKT model and the
ASSISTmentsChall dataset.
- Abstract(参考訳): 人間の知識獲得を追跡する知識追跡(KT)は、教育におけるオンライン学習とAIの中心的なコンポーネントである。
本稿では,KTモデルの一般化能力を改善するための,単純かつ効果的な戦略を提案する。本論文では,新しいデータ拡張,代用,挿入,削除の3種類の方法と,モデルが生成および拡張シーケンスに対する予測に対して一定の整合性あるいは単調性バイアスを課す正則化損失を提案する。
さまざまなKTベンチマークに対する大規模な実験により、我々の正規化スキームは、DKTモデルとASSISTmentsChallデータセットの下で3つの広く使用されているニューラルネットワークと4つの公開ベンチマークの下で、モデルパフォーマンスを継続的に改善している。
関連論文リスト
- DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文 参考訳(メタデータ) (2024-03-14T02:11:38Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Integrating Contrastive Learning with Dynamic Models for Reinforcement
Learning from Images [31.413588478694496]
我々は、学習した埋め込みのマルコビアン性を明確に改善することが望ましいと論じている。
コントラスト学習と動的モデルを統合する自己教師付き表現学習法を提案する。
論文 参考訳(メタデータ) (2022-03-02T14:39:17Z) - Enhancing Knowledge Tracing via Adversarial Training [5.461665809706664]
本研究では,学生の知識習得を時間とともに追跡することを目的とした知識追跡問題(KT)について検討する。
KTの最近の進歩は、KTの性能を改善するためにディープニューラルネットワーク(DNN)の探索に集中している。
我々は,効率的なATベースKT法(ATKT)を提案し,KTモデルの一般化を強化し,KTの限界を推し進める。
論文 参考訳(メタデータ) (2021-08-10T03:35:13Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳(メタデータ) (2021-01-27T11:55:03Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳(メタデータ) (2020-09-28T09:49:38Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T11:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。