論文の概要: Analyzing the Difficulty of Programming Assignments with Interpretable Knowledge Component Metrics

• arxiv url: http://arxiv.org/abs/2607.03419v1
• Date: Fri, 03 Jul 2026 15:28:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 12:41:02.3209
• Title: Analyzing the Difficulty of Programming Assignments with Interpretable Knowledge Component Metrics
• Title（参考訳）: 解釈可能な知識要素メトリクスを用いたプログラミング課題の難易度解析
• Authors: Tsvetomila Mihaylova, Jing Fan, Bita Akram, Narges Norouzi, Peter Brusilovsky, Juho Leinonen, Arto Hellas,
• Abstract要約: 本研究は、課題の難易度と学生の苦難を理解するための解釈可能な信号として、知識コンポーネント(KC)をどのように利用できるかを検討する。 我々は、割り当て毎のKC数や連続割り当て間のKCカバレッジの変化など、KCベースのメトリクスを分析した。 そこで本稿では,KCに基づくメトリクスを用いたプログラミング課題分析のための解釈可能なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.174837465294717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research paper examines how Knowledge Components (KCs) - fine-grained concepts or skills required to solve programming tasks - can be used as interpretable signals for understanding assignment difficulty and student struggle in introductory programming courses. While prior work has focused on predictive models based on programming behavior, such models are often difficult to interpret and therefore hard to use for instructional decisions. We analyze KC-based metrics, including the number of KCs per assignment and changes in KC coverage between consecutive assignments. We examine correlations between the number of KCs and student performance on the assignment, and analyze changes in KCs across assignments to identify cases where performance declines without new concepts being introduced. Selected assignments are then qualitatively inspected to understand potential design issues. Our results on data from three introductory programming course datasets show that assignments involving more KCs are generally associated with lower performance, and that sudden shifts in required KCs can coincide with disruptions in learning progression. We also identify assignments where performance declines even though no new KCs are introduced, suggesting potential issues in task design or instruction, which could be examined with qualitative analysis. We propose an interpretable framework for analyzing programming assignments using KC-based metrics, with practical implications for instructors and course designers who want to better understand where and why students struggle, and how course materials might be improved. Our method can use KCs defined by an expert or extracted by an LLM, offering instructors an additional way to assess assignment quality beyond average correctness. It can be applied to any course with ordered assignments and measurable performance.
• Abstract（参考訳）: 本研究は,プログラミングの課題を解くのに必要な,きめ細かい概念やスキルである知識コンポーネント(KC)を,課題の難易度や入門プログラミングコースにおける学生の苦労を理解するための解釈可能な信号として利用できるかを検討する。 以前の研究はプログラミングの振る舞いに基づいた予測モデルに焦点を合わせてきたが、そのようなモデルは解釈が困難であり、命令的決定に使用するのが困難であることが多い。 我々は、割り当て毎のKC数や連続割り当て間のKCカバレッジの変化など、KCベースのメトリクスを分析した。 課題におけるKC数と学生成績の相関について検討し、課題間のKCの変化を分析して、新たな概念を導入することなく、パフォーマンスが低下するケースを特定する。 選択された課題は、潜在的な設計問題を理解するために質的に検査される。 3つのプログラミングコースのデータセットから得られたデータから、より多くのKCの割り当てが一般的に低いパフォーマンスに結びついており、必要なKCの急激なシフトは、学習の進行の混乱と一致していることが示された。 また、新しいKCを導入しても性能が低下する課題も特定し、質的な分析で検証できるタスク設計や命令の潜在的な問題を提案する。 そこで本稿では,KC ベースのメトリクスを用いてプログラミングの課題を分析するための解釈可能なフレームワークを提案する。 提案手法では,専門家が定義したKCやLLMで抽出したKCを用いて,平均的正当性を超えた代入品質の評価を行う。 順序付けられた割り当てと測定可能なパフォーマンスを持つ任意のコースに適用することができる。

関連論文リスト

• Personalized Worked Example Generation from Student Code Submissions Using Pattern-based Knowledge Components [8.40619529758373]
  本稿では,学生のコードから抽出したパターンベースのKCを用いたナレッジ・コンピネント・ガイド付きコンテンツ生成手法を提案する。 問題文と学生の提出状況から,本パイプラインは,ASTに基づく解析により,学生のコードから構造的KCパターンを抽出し,生成モデルを決定する。 その結果、KC条件付き生成は、生徒の論理的誤りに対する話題の焦点と関連性を改善することが示唆された。
  論文  参考訳（メタデータ） (2026-04-27T17:56:56Z)
• Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems [0.4316506818580031]
  学生記述コードから直接KCレベルの正しさをラベル付けする自動フレームワークを提案する。 得られたKCレベルの精度ラベルを学習曲線適合度と予測性能で評価する。
  論文  参考訳（メタデータ） (2026-02-19T16:58:34Z)
• Pattern-based Knowledge Component Extraction from Student Code Using Representation Learning [2.726913697825415]
  この研究は、学生の学習に不可欠な粒度のコードパターンとアルゴリズム構造を識別する自動化され、スケーラブルで説明可能なフレームワークを提供することで、コンピュータサイエンス教育における知識モデリングを推進している。
  論文  参考訳（メタデータ） (2025-08-12T18:42:15Z)
• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• KCluster: An LLM-based Clustering Approach to Knowledge Component Discovery [0.26626950367610397]
  KClusterは,一致した質問のクラスタを識別する新しいKC探索アルゴリズムである。 我々は,LLMが質問類似度を効果的に測定できることを示す。 KClusterは記述的なKCラベルを生成し、最高の専門家設計モデルよりも生徒のパフォーマンスを予測するKCモデルを発見する。
  論文  参考訳（メタデータ） (2025-05-09T23:47:58Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。