論文の概要: Towards Robust Knowledge Tracing Models via k-Sparse Attention

• arxiv url: http://arxiv.org/abs/2407.17097v1
• Date: Wed, 24 Jul 2024 08:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:23:43.958322
• Title: Towards Robust Knowledge Tracing Models via k-Sparse Attention
• Title（参考訳）: k-スパース注意によるロバスト知識追跡モデルに向けて
• Authors: Shuyan Huang, Zitao Liu, Xiangyu Zhao, Weiqi Luo, Jian Weng,
• Abstract要約: textscsparseKTは、注意に基づくDLKTアプローチの堅牢性と一般化を改善するための、シンプルで効果的なフレームワークである。 我々のテキストスパースKTは、注意的なKTモデルが無関係な学生の相互作用を取り除くのに役立つことを示す。
• 参考スコア（独自算出の注目度）: 33.02197868261949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge tracing (KT) is the problem of predicting students' future performance based on their historical interaction sequences. With the advanced capability of capturing contextual long-term dependency, attention mechanism becomes one of the essential components in many deep learning based KT (DLKT) models. In spite of the impressive performance achieved by these attentional DLKT models, many of them are often vulnerable to run the risk of overfitting, especially on small-scale educational datasets. Therefore, in this paper, we propose \textsc{sparseKT}, a simple yet effective framework to improve the robustness and generalization of the attention based DLKT approaches. Specifically, we incorporate a k-selection module to only pick items with the highest attention scores. We propose two sparsification heuristics : (1) soft-thresholding sparse attention and (2) top-$K$ sparse attention. We show that our \textsc{sparseKT} is able to help attentional KT models get rid of irrelevant student interactions and have comparable predictive performance when compared to 11 state-of-the-art KT models on three publicly available real-world educational datasets. To encourage reproducible research, we make our data and code publicly available at \url{https://github.com/pykt-team/pykt-toolkit}\footnote{We merged our model to the \textsc{pyKT} benchmark at \url{https://pykt.org/}.}.
• Abstract（参考訳）: 知識追跡(KT)は,学生の過去のインタラクションシーケンスに基づいて,将来のパフォーマンスを予測する問題である。 文脈的長期依存を捕捉する高度な能力により、注意機構は多くの深層学習に基づくKT(DLKT)モデルにおいて重要な要素の1つである。 これらの注目すべきDLKTモデルによって達成された印象的なパフォーマンスにもかかわらず、それらの多くは、特に小規模の教育データセットにおいて、過度に適合するリスクを負うために脆弱であることが多い。 そこで,本稿では,注意に基づくDLKTアプローチの堅牢性と一般化を改善するための,シンプルかつ効果的なフレームワークである「textsc{sparseKT}」を提案する。 具体的には,注目度の高い項目のみを選択するために,k-selectionモジュールを組み込んだ。 本研究では,(1)ソフトスレッショルドなスパース・アテンション,(2)トップ・ドル・スパース・アテンションの2つのスペーシフィケーション・ヒューリスティックスを提案する。 我々は,現在公開されている3つの実世界の教育データセット上の11のKTモデルと比較して,注目のKTモデルが無関係な学生相互作用を排除し,それと同程度の予測性能を持つことを示す。 再現可能な研究を促進するため、私たちはデータを \url{https://github.com/pykt-team/pykt-toolkit}\footnote{} で公開し、そのモデルを \url{https://pykt.org/} の \textsc{pyKT} ベンチマークにマージしました。 と。

関連論文リスト

• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning [25.566963415155325]
  上記の課題に対処するため,低リソースのKTフレームワークであるLoReKTを提案する。 一般的な"事前学習と微調整"パラダイムにインスパイアされた我々は、リッチリソースのKTデータセットから転送可能なパラメータと表現を学習することを目指している。 複数のKTデータソースからの学生のインタラクションを組み込むエンコーディング機構を設計する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:43Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• simpleKT: A Simple But Tough-to-Beat Baseline for Knowledge Tracing [22.055683237994696]
  我々は、textscsimpleKT という名前の KT タスクを扱うための、強力だが単純なベースライン手法を提供する。 心理学におけるラッシュモデルに触発され、質問固有のバリエーションを明示的にモデル化し、質問間の個人差を捉えた。 本研究は,学生の学習行動に埋め込まれた時間認識情報を抽出するために,通常のドット・プロダクト・アテンション機能を利用する。
  論文  参考訳（メタデータ） (2023-02-14T08:09:09Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models [46.05383477261115]
  知識追跡(KT)は、学生の履歴学習インタラクションデータを用いて、時間とともに知識の熟達をモデル化するタスクである。 DLKTアプローチはいまだに不明であり、これらのアプローチの適切な測定と分析は依然として課題である。 我々は、DLKTメソッド間の有効な比較を保証するために、包括的なpythonベースのベンチマークプラットフォームであるtextscpyKTを導入する。
  論文  参考訳（メタデータ） (2022-06-23T02:42:47Z)
• Enhancing Knowledge Tracing via Adversarial Training [5.461665809706664]
  本研究では,学生の知識習得を時間とともに追跡することを目的とした知識追跡問題(KT)について検討する。 KTの最近の進歩は、KTの性能を改善するためにディープニューラルネットワーク(DNN)の探索に集中している。 我々は,効率的なATベースKT法(ATKT)を提案し,KTモデルの一般化を強化し,KTの限界を推し進める。
  論文  参考訳（メタデータ） (2021-08-10T03:35:13Z)
• How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction [66.09605613944201]
  バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-26T09:38:28Z)
• qDKT: Question-centric Deep Knowledge Tracing [29.431121650577396]
  DKTの変種であるqDKTを導入し、各学習者の成功確率を時間とともにモデル化する。 qDKTはグラフラプラシア正規化を各スキルの下で滑らかな予測に組み込む。 いくつかの実世界のデータセットの実験により、qDKTは学習結果の予測において最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-05-25T23:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。