論文の概要: Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

• arxiv url: http://arxiv.org/abs/2602.17542v1
• Date: Thu, 19 Feb 2026 16:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.221062
• Title: Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems
• Title（参考訳）: オープンエンド符号化問題におけるLLMによる知識成分レベルの誤りラベル付け
• Authors: Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan,
• Abstract要約: 学生記述コードから直接KCレベルの正しさをラベル付けする自動フレームワークを提案する。 得られたKCレベルの精度ラベルを学習曲線適合度と予測性能で評価する。
• 参考スコア（独自算出の注目度）: 0.4316506818580031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-grained skill representations, commonly referred to as knowledge components (KCs), are fundamental to many approaches in student modeling and learning analytics. However, KC-level correctness labels are rarely available in real-world datasets, especially for open-ended programming tasks where solutions typically involve multiple KCs simultaneously. Simply propagating problem-level correctness to all associated KCs obscures partial mastery and often leads to poorly fitted learning curves. To address this challenge, we propose an automated framework that leverages large language models (LLMs) to label KC-level correctness directly from student-written code. Our method assesses whether each KC is correctly applied and further introduces a temporal context-aware Code-KC mapping mechanism to better align KCs with individual student code. We evaluate the resulting KC-level correctness labels in terms of learning curve fit and predictive performance using the power law of practice and the Additive Factors Model. Experimental results show that our framework leads to learning curves that are more consistent with cognitive theory and improves predictive performance, compared to baselines. Human evaluation further demonstrates substantial agreement between LLM and expert annotations.
• Abstract（参考訳）: 知識コンポーネント(KCs)と呼ばれる、きめ細かいスキル表現は、学生モデリングや学習分析における多くのアプローチに基礎を置いている。 しかしながら、KCレベルの正当性ラベルは現実世界のデータセット、特にソリューションが複数のKCを同時に含むオープンエンドプログラミングタスクではほとんど利用できない。 すべての関連するKCに問題レベルの正しさを伝播するだけでは、部分的な熟達を曖昧にし、しばしば不適合な学習曲線につながる。 この課題に対処するために,大規模な言語モデル(LLM)を活用して,学生記述コードから直接KCレベルの正当性をラベル付けする自動フレームワークを提案する。 提案手法は,各KCが正しく適用されているかどうかを判定し,また,KCと個々の学生コードとの整合性を高めるために,時間的文脈対応のCode-KCマッピング機構を導入する。 得られたKCレベルの正当性ラベルを,学習曲線適合度と予測性能の観点から,実践のパワー則と付加因子モデルを用いて評価する。 実験結果から,本フレームワークは認知理論とより整合した学習曲線を導出し,ベースラインよりも予測性能を向上させることが示された。 人的評価は、LLMと専門家アノテーションの相当な一致を示す。

関連論文リスト

• Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems [2.801976382946474]
  知識コンポーネント(KC)は、生徒の学習をモデル化し、きめ細かいスキルの熟達レベルを追跡するのに役立つ問題にマッピングされる。 我々は、KC生成とタグ付けのための自動LLMベースのパイプラインを、オープンエンドプログラミング問題に対して提示する。 KCGen-KTは,今後の学生の反応予測において,既存のKT手法や人書きKCよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-25T20:40:51Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• Overcoming Pitfalls in Graph Contrastive Learning Evaluation: Toward Comprehensive Benchmarks [60.82579717007963]
  本稿では,グラフコントラスト学習(GCL)手法の有効性,一貫性,全体的な能力をより正確に評価するために,拡張された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T01:47:56Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。