論文の概要: One Mastery Threshold Does Not Fit All Knowledge Tracing Models
- arxiv url: http://arxiv.org/abs/2610.00095v1
- Date: Tue, 08 Sep 2026 14:18:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.366341
- Title: One Mastery Threshold Does Not Fit All Knowledge Tracing Models
- Title(参考訳): すべての知識追跡モデルに適合しない1つの熟達閾値
- Abstract要約: 4つの公開教育データセットにまたがる6つのKTモデルについて検討する。
改善後の成績, 進行カバレッジ, 練習負担, 先行成績群間の差異を指標として, 0.50 から 0.99 の 12 の閾値を評価した。
- 参考スコア(独自算出の注目度): 3.8111836974655957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tutoring systems use mastery thresholds to decide when students can stop practicing and advance, but the same numerical threshold can lead to very different decisions when the underlying knowledge tracing (KT) model changes. We examine six KT models across four public educational datasets and evaluate 12 thresholds from 0.50 to 0.99 using post-advancement performance, advancement coverage, practice burden, and disparities across prior-performance groups. We also identify thresholds that balance performance, extra practice, and advancement under 30 predefined instructional settings. Bayesian Knowledge Tracing (BKT) is relatively insensitive to threshold changes, while neural models become much more selective as thresholds increase. This partly reflects different model outputs: BKT estimates latent mastery probability, whereas neural models estimate the probability of a correct next response, so the same cutoff does not represent the same level of mastery. The best-balanced threshold varied substantially across models and settings. In half of the tested settings, neural models and BKT differed by more than 0.10 in their selected thresholds, although this gap became smaller when greater priority was placed on reducing extra practice and allowing more students to advance. Stricter thresholds also did not reliably reduce performance gaps and could disproportionately restrict advancement, with stronger-prior students advancing up to 3.26 times as often as weaker-prior students. These results show that mastery thresholds should be recalibrated when the KT model or instructional priorities change and evaluated by their effects on performance, practice, advancement, and access.
- Abstract(参考訳): チュータシステムは、学生がいつ練習や進歩をやめられるかを決定するのに熟達しきい値を使用するが、基礎となる知識追跡(KT)モデルを変更すると、同じ数値しきい値が全く異なる決定につながる可能性がある。
本研究は,4つの公立教育データセットを対象とした6つのKTモデルについて検討し,前処理群間での事前管理性能,進行カバレッジ,実践負担,格差を用いて,0.50から0.99までの12しきい値を評価する。
また、30の事前定義された命令設定の下で、パフォーマンス、余分な練習、進歩のバランスをとるしきい値も特定します。
ベイズ知識追跡(BKT)は閾値の変化に対して比較的敏感であるが、ニューラルネットワークは閾値が増加するにつれてより選択的になる。
BKTは潜在熟達確率を推定するが、ニューラルモデルは正しい次の応答の確率を推定するので、同じカットオフは同じ熟達レベルを表現しない。
最もバランスのとれた閾値はモデルや設定によって大きく異なる。
テストされた設定の半分では、ニューラルモデルとBKTは選択されたしきい値で0.10以上異なるが、余分な練習を減らし、より多くの学生が進むことを優先すると、このギャップは小さくなった。
厳格な閾値はパフォーマンスのギャップを確実に減らさず、不均等に進歩を制限し、より強大な学生はより弱い学生の3.26倍まで上昇した。
これらの結果から,KTモデルや指導的優先度が変化したときの熟達しきい値の再検討が,パフォーマンス,実践,進歩,アクセスに与える影響で評価されるべきであることが示唆された。
関連論文リスト
- MAML-KT: Addressing Cold Start Problem in Knowledge Tracing for New Students via Few-Shot Model-Agnostic Meta Learning [2.8913142991383114]
モデルに依存しないメタ学習手法であるMAML-KTを導入する。
MAML-KTは、ほとんど全てのコールドスタート条件において、以前のKTモデルよりも高い早期精度を達成する。
全体として、KTモデルを高速適応に最適化することで、新入生の早期予測誤差を低減できる。
論文 参考訳(メタデータ) (2026-02-24T05:49:23Z) - Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels [72.3670919950349]
大規模言語モデル(LLM)は、事前訓練中にかなりの世界の知識を得る。
教師付き微調整(SFT)のようなポストトレーニング技術はこの知識変化の振る舞いを形作る。
LLaMA-2 と LLaMA-3 の 5 つの LLM を対象としたクローズドブック質問応答 (CBQA) の性能評価を行った。
論文 参考訳(メタデータ) (2025-09-20T09:40:32Z) - S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳(メタデータ) (2025-02-18T13:40:22Z) - Instance-dependent Early Stopping [57.912273923450726]
本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。
IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。
IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
論文 参考訳(メタデータ) (2025-02-11T13:34:09Z) - C-Learner: Constrained Learning for Causal Inference [4.370964009390564]
本稿では,両世界の最適な重み付けを実現し,安定したプラグイン推定を実現する新しいデバイアス化手法を提案する。
我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
論文 参考訳(メタデータ) (2024-05-15T16:38:28Z) - Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。
このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。
FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
論文 参考訳(メタデータ) (2024-01-09T08:59:39Z) - Robustness May be More Brittle than We Think under Different Degrees of
Distribution Shifts [72.90906474654594]
分散シフトの度合いが異なる場合、モデルの堅牢性はかなり不安定で不整合であることを示す。
我々は,CLIPのような大規模事前学習モデルが,新しい下流タスクの分分分布シフトに敏感であることが観察された。
論文 参考訳(メタデータ) (2023-10-10T13:39:18Z) - Importance Tempering: Group Robustness for Overparameterized Models [12.559727665706687]
我々は意思決定境界を改善するために重要な誘惑を提案する。
適切に選択された温度が、不均衡な分類のためにマイノリティ崩壊を複雑化することを示す。
実証的な結果として,重要テンパリングを用いたグループ分類作業における最先端の成果が得られた。
論文 参考訳(メタデータ) (2022-09-19T03:41:30Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。