論文の概要: KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2403.15304v1
• Date: Fri, 22 Mar 2024 15:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 16:50:04.879265
• Title: KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing
• Title（参考訳）: KTbench: 知識追跡のための新しいデータ漏洩フリーフレームワーク
• Authors: Yahya Badran, Christine Preisach,
• Abstract要約: KT(Knowledge Tracing)は、知的学習システムにおける学習項目の将来のパフォーマンスを予測することを目的としている。 多くのKTモデルは、学習項目をその構成するKCに置き換えることで、アイテムと学生の相互作用のシーケンスをKC-学生の相互作用へと拡張する。 提案手法は,スパースアイテム-学生間相互作用とモデルパラメータの最小化の問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Tracing (KT) is concerned with predicting students' future performance on learning items in intelligent tutoring systems. Learning items are tagged with skill labels called knowledge concepts (KCs). Many KT models expand the sequence of item-student interactions into KC-student interactions by replacing learning items with their constituting KCs. This often results in a longer sequence length. This approach addresses the issue of sparse item-student interactions and minimises model parameters. However, two problems have been identified with such models. The first problem is the model's ability to learn correlations between KCs belonging to the same item, which can result in the leakage of ground truth labels and hinder performance. This problem can lead to a significant decrease in performance on datasets with a higher number of KCs per item. The second problem is that the available benchmark implementations ignore accounting for changes in sequence length when expanding KCs, leading to different models being tested with varying sequence lengths but still compared against the same benchmark. To address these problems, we introduce a general masking framework that mitigates the first problem and enhances the performance of such KT models while preserving the original model architecture without significant alterations. Additionally, we introduce KTbench, an open-source benchmark library designed to ensure the reproducibility of this work while mitigating the second problem.
• Abstract（参考訳）: KT(Knowledge Tracing)は、知的学習システムにおける学習項目の将来のパフォーマンスを予測することを目的としている。 学習項目は知識概念(KC)と呼ばれるスキルラベルでタグ付けされる。 多くのKTモデルは、学習項目をその構成するKCに置き換えることで、アイテムと学生の相互作用のシーケンスをKC-学生の相互作用へと拡張する。 これは多くの場合、長いシーケンス長をもたらす。 提案手法は,スパースアイテム-学生間相互作用とモデルパラメータの最小化の問題に対処する。 しかし、そのようなモデルでは2つの問題が特定されている。 第一の問題は、モデルが同一項目に属するKC間の相関関係を学習する能力である。 この問題は、アイテムあたりのKC数がより多いデータセットのパフォーマンスを著しく低下させる可能性がある。 第二の問題は、利用可能なベンチマーク実装が、KCを拡大する際のシーケンス長の変化を考慮せず、異なるモデルが異なるシーケンス長でテストされているが、同じベンチマークと比較されていることである。 これらの問題に対処するために、我々は、最初の問題を緩和し、重要な変更を伴わずにオリジナルのモデルアーキテクチャを保ちながら、そのようなKTモデルの性能を向上する一般的なマスキングフレームワークを導入する。 さらに、第2の問題を緩和しつつ、この作業の再現性を確保するために設計されたオープンソースのベンチマークライブラリであるKTbenchを紹介する。

関連論文リスト

• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Towards Robust Knowledge Tracing Models via k-Sparse Attention [33.02197868261949]
  textscsparseKTは、注意に基づくDLKTアプローチの堅牢性と一般化を改善するための、シンプルで効果的なフレームワークである。 我々のテキストスパースKTは、注意的なKTモデルが無関係な学生の相互作用を取り除くのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-07-24T08:49:18Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Enhancing Deep Knowledge Tracing with Auxiliary Tasks [24.780533765606922]
  本稿では,emphAT-DKTによる知識追跡モデルの予測性能の向上について述べる。 実世界の3つの教育データセットに関する総合的な実験を行い、提案手法を深部逐次KTモデルと非逐次モデルの両方と比較する。
  論文  参考訳（メタデータ） (2023-02-14T08:21:37Z)
• simpleKT: A Simple But Tough-to-Beat Baseline for Knowledge Tracing [22.055683237994696]
  我々は、textscsimpleKT という名前の KT タスクを扱うための、強力だが単純なベースライン手法を提供する。 心理学におけるラッシュモデルに触発され、質問固有のバリエーションを明示的にモデル化し、質問間の個人差を捉えた。 本研究は,学生の学習行動に埋め込まれた時間認識情報を抽出するために,通常のドット・プロダクト・アテンション機能を利用する。
  論文  参考訳（メタデータ） (2023-02-14T08:09:09Z)
• Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models [0.030693357740321774]
  分類アルゴリズムは、異なるクラスからの観察が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。 この問題は、重要なテキスト情報に頼るのではなく、シーケンス長を予測機能として使用するモデルを引き起こす。 ほとんどの公開データセットはこの問題の影響を受けていないが、医療や保険などの分野で個人所有のコーパスがこのデータバイアスを負う可能性がある。
  論文  参考訳（メタデータ） (2022-12-16T10:46:20Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。