論文の概要: Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions

• arxiv url: http://arxiv.org/abs/2605.14752v1
• Date: Thu, 14 May 2026 12:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.813732
• Title: Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions
• Title（参考訳）: 学生の誤解の正確な分類のための認知的不確実性指導型知識蒸留法
• Authors: Qirui Liu, Hao Chen, Weijie Shi, Jiajie Xu, Jia Zhu,
• Abstract要約: 既存のデータから高価値サンプルをマイニングする2段階の知識蒸留フレームワークを提案する。 フィルタされたサンプルのわずか10.30%で強化トレーニングを行うことで、MAP-Chartingデータセットで0.9585 (+17.8%)のMAP@3を達成する。 4Bパラメータモデルのみを用いて、中学代数学の誤概念ベンチマークのクロストピックテストにおいて84.38%の精度が得られる。
• 参考スコア（独自算出の注目度）: 11.509375725817195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately identifying student misconceptions is crucial for personalized education but faces three challenges: (1) data scarcity with long-tail distribution, where authentic student reasoning is difficult to synthesize; (2) fuzzy boundaries between error categories with high annotation noise; (3) deployment parado-large models overlook unconventional approaches due to pretraining bias and cannot be deployed on edge, while small models overfit to noise. Unlike traditional methods that increase diversity through large-scale data synthesis, we propose a two-stage knowledge distillation framework that mines high-value samples from existing data. The first stage performs standard distillation to transfer task capabilities. The second stage introduces a dual-layer marginal selection mechanism based on cognitive uncertainty, identifying four types of critical samples based on teacher model uncertainty and confidence differences. For different data subsets, we design difficulty-adaptive mechanism to balance hard/soft label contributions, enabling student models to inherit inter-class relationships from teacher soft labels while distinguishing ambiguous error types. Experiments show that with augmented training on only 10.30% of filtered samples, we achieve MAP@3 of 0.9585 (+17.8%) on the MAP-Charting dataset, and using only a 4B parameter model, we attain 84.38% accuracy on cross-topic tests of middle school algebra misconception benchmarks, significantly outperforming sota LLM (67.73%) and standard fine-tuned 72B models (81.25%). Our code is available at https://github.com/RoschildRui/acl2026_map.
• Abstract（参考訳）: 学生の誤認識を正確に識別することはパーソナライズする上で重要であるが,(1) 学生の真正な推論が難しい長身分布によるデータ不足,(2) 誤りカテゴリー間のファジィ境界,(3) 事前学習による非従来的アプローチを見落とし,かつ,小さなモデルではノイズに見過ごせない,という3つの課題に直面している。 大規模データ合成によって多様性を高める従来の手法とは異なり、既存のデータから高価値サンプルをマイニングする2段階の知識蒸留フレームワークを提案する。 第1段階は、伝達タスク能力の標準的な蒸留を行う。 第2段階では、認知的不確実性に基づく二層境界選択機構を導入し、教師モデルの不確実性と信頼差に基づく4種類の臨界サンプルを同定する。 異なるデータサブセットに対して、ハード/ソフトラベルのコントリビューションのバランスをとるための難易度適応機構を設計し、教師のソフトラベルからクラス間関係を継承し、曖昧なエラータイプを識別する。 実験の結果, フィルタサンプルの10.30%に留まらず, MAP@3の0.9585 (+17.8%)をMAP-Chartingデータセットで達成し, 4Bパラメータモデルのみを用いて, 中学代数学の誤認識ベンチマークのクロストピックテストにおいて84.38%の精度を達成し, ソタLLM (67.73%) と標準微調整72Bモデル (81.25%) を著しく上回った。 私たちのコードはhttps://github.com/RoschildRui/acl2026_mapで公開されています。

関連論文リスト

• When Perplexity Lies: Generation-Focused Distillation of Hybrid Sequence Models [18.966595547209824]
  我々はGenDistillと組み合わせたハイブリッドKimi Delta Attention (Hybrid-KDA)アーキテクチャを提案する。 ログライクリフに基づく評価は,教師と学生のギャップを過小評価する。
  論文  参考訳（メタデータ） (2026-03-27T16:16:23Z)
• Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
  本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T19:08:40Z)
• Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits [0.0]
  そこで本研究では,Laplace近似法を用いて精度の高い不確実性推定値を得る手法を提案する。 我々の主張を検証するために、MultiNLIデータセット上のBertベースのモデルを用いて、我々のアプローチをベンチマークする。
  論文  参考訳（メタデータ） (2025-05-02T07:18:52Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• DualMatch: Robust Semi-Supervised Learning with Dual-Level Interaction [10.775623936099173]
  従来の半教師付き学習手法は、通常、異なるデータ拡張ビューのモデル予測を単一レベルのインタラクション方法で一致させる。 本稿では,DualMatchと呼ばれる新しいSSL方式を提案する。 標準SSL設定では、SOTA法と比較して9%のエラー削減が達成されるが、より困難なクラス不均衡設定でも6%のエラー削減が達成できる。
  論文  参考訳（メタデータ） (2023-10-25T08:34:05Z)
• Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data [6.596656267996196]
  フェア・ミックスド・エフェクト・ディープ・ラーニング(Fair MEDL)フレームワークを提案する。 本フレームワークは,1)不変なFEを学習するためのクラスタ逆効果,2)REのためのベイズニューラルネットワーク,3)最終的な予測のためにFEとREを組み合わせた混合関数,を通じて,クラスタ不変な固定効果(FE)とクラスタ固有ランダムエフェクト(RE)を定量化する。 公正なMEDLフレームワークは、年齢で86.4%、人種で64.9%、性で57.8%、結婚で36.2%の公正性を向上し、堅牢な予測性能を維持している。
  論文  参考訳（メタデータ） (2023-10-04T20:18:45Z)
• Class adaptive threshold and negative class guided noisy annotation robust Facial Expression Recognition [3.823356975862006]
  ラベル付けは、アノテータ、画像の明快さなどに基づいているため、本質的にデータセットにノイズの多いアノテーションが存在する。 最近の研究は、FERにおけるこのノイズの多いアノテーション問題を解決するためにサンプル選択法を用いている。 私たちの研究では、動的適応しきい値を使用して、信頼できないサンプルから信頼できないサンプルを分離し、信頼できないサンプルのために学習が妨げられないようにします。
  論文  参考訳（メタデータ） (2023-05-03T04:28:49Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。