論文の概要: Do We Fully Understand Students' Knowledge States? Identifying and Mitigating Answer Bias in Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2308.07779v2
• Date: Sat, 9 Dec 2023 03:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 22:32:28.281817
• Title: Do We Fully Understand Students' Knowledge States? Identifying and Mitigating Answer Bias in Knowledge Tracing
• Title（参考訳）: 生徒の知識状態は十分に理解できますか。 知識追跡における回答バイアスの同定と軽減
• Authors: Chaoran Cui, Hebo Ma, Chen Zhang, Chunyun Zhang, Yumo Yao, Meng Chen, Yuling Ma
• Abstract要約: 知識追跡は、概念に関連した質問との学習相互作用を通じて、学生の進化する知識状態を監視することを目的としている。 解答バイアスの一般的な現象、すなわち、各質問に対する正解と誤解の高度に不均衡な分布がある。 既存のモデルは、KTで高い予測性能を達成するためのショートカットとして解答バイアスを記憶する傾向がある。
• 参考スコア（独自算出の注目度）: 12.31363929361146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge tracing (KT) aims to monitor students' evolving knowledge states through their learning interactions with concept-related questions, and can be indirectly evaluated by predicting how students will perform on future questions. In this paper, we observe that there is a common phenomenon of answer bias, i.e., a highly unbalanced distribution of correct and incorrect answers for each question. Existing models tend to memorize the answer bias as a shortcut for achieving high prediction performance in KT, thereby failing to fully understand students' knowledge states. To address this issue, we approach the KT task from a causality perspective. A causal graph of KT is first established, from which we identify that the impact of answer bias lies in the direct causal effect of questions on students' responses. A novel COunterfactual REasoning (CORE) framework for KT is further proposed, which separately captures the total causal effect and direct causal effect during training, and mitigates answer bias by subtracting the latter from the former in testing. The CORE framework is applicable to various existing KT models, and we implement it based on the prevailing DKT, DKVMN, and AKT models, respectively. Extensive experiments on three benchmark datasets demonstrate the effectiveness of CORE in making the debiased inference for KT. We have released our code at https://github.com/lucky7-code/CORE.
• Abstract（参考訳）: 知識追跡(KT)は,概念関連質問との学習相互作用を通じて,学生の進化する知識状態を監視することを目的としており,将来の質問に対する学生の行動予測によって間接的に評価することができる。 本稿では,解答バイアスの共通する現象,すなわち,各問に対して正解と誤解の高度に不均衡な分布が存在することを観察する。 既存のモデルは、KTにおける高い予測性能を達成するためのショートカットとして解答バイアスを記憶する傾向があり、それによって学生の知識状態を完全に理解できない。 この問題に対処するため、我々は因果性の観点からKTタスクにアプローチする。 KTの因果グラフが最初に確立され,回答バイアスの影響が学生の反応に対する質問の直接的な因果効果に関係していることを確認する。 さらに,kt に対する新たな反事実推論(core)フレームワークも提案されており,トレーニング中の因果効果と直接因果効果を分離して捉え,テストにおいて前者から後者を差し引いて回答バイアスを軽減している。 COREフレームワークは様々な既存のKTモデルに適用可能であり、DKT、DKVMN、AKTモデルに基づいて実装する。 3つのベンチマークデータセットに対する大規模な実験は、COREがKTの偏りのある推論に有効であることを示した。 私たちはコードをhttps://github.com/lucky7-code/coreでリリースした。

関連論文リスト

• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Enhancing Knowledge Tracing with Concept Map and Response Disentanglement [5.201585012263761]
  本稿では,知識追跡(CRKT)モデルを強化するための概念マップ駆動型応答不整合法を提案する。 CRKTは、答えの選択を直接活用することでKTに恩恵を与える。 さらに,不整合表現を用いて,学生が選択しない選択肢から洞察を得るアンチョセン応答の新規利用について紹介する。
  論文  参考訳（メタデータ） (2024-08-23T11:25:56Z)
• SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
  知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。 大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
  論文  参考訳（メタデータ） (2024-07-01T12:44:52Z)
• Forgetting-aware Linear Bias for Attentive Knowledge Tracing [7.87348193562399]
  本稿では,リニアバイアスとして忘れる動作を反映するフォーッティング対応リニアバイアス(FoLiBi)を提案する。 複数のKTモデルでプラグインされたFoLiBiは、4つのベンチマークデータセット上の最先端KTモデルよりも、AUCで最大2.58%改善されている。
  論文  参考訳（メタデータ） (2023-09-26T09:48:30Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• Quiz-based Knowledge Tracing [61.9152637457605]
  知識追跡は、学習相互作用に基づいて個人の進化する知識状態を評価することを目的としている。 QKTは、既存の方法と比較して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-05T12:48:42Z)
• Enhancing Deep Knowledge Tracing with Auxiliary Tasks [24.780533765606922]
  本稿では,emphAT-DKTによる知識追跡モデルの予測性能の向上について述べる。 実世界の3つの教育データセットに関する総合的な実験を行い、提案手法を深部逐次KTモデルと非逐次モデルの両方と比較する。
  論文  参考訳（メタデータ） (2023-02-14T08:21:37Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• GIKT: A Graph-based Interaction Model for Knowledge Tracing [36.07642261246016]
  上記の問題に対処するために,知識追跡のためのグラフベースインタラクションモデルを提案する。 より具体的には、GIKTはグラフ畳み込みネットワーク(GCN)を使用して、質問スキル相関を実質的に組み込んでいる。 3つのデータセットの実験では、GIKTが新しい最先端のパフォーマンスを実現し、少なくとも1%の絶対AUC改善を実現している。
  論文  参考訳（メタデータ） (2020-09-13T12:50:32Z)
• qDKT: Question-centric Deep Knowledge Tracing [29.431121650577396]
  DKTの変種であるqDKTを導入し、各学習者の成功確率を時間とともにモデル化する。 qDKTはグラフラプラシア正規化を各スキルの下で滑らかな予測に組み込む。 いくつかの実世界のデータセットの実験により、qDKTは学習結果の予測において最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-05-25T23:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。