論文の概要: Automated Knowledge Component Generation and Knowledge Tracing for Coding Problems

• arxiv url: http://arxiv.org/abs/2502.18632v1
• Date: Tue, 25 Feb 2025 20:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:00:04.130413
• Title: Automated Knowledge Component Generation and Knowledge Tracing for Coding Problems
• Title（参考訳）: 符号化問題に対する知識要素の自動生成と知識追跡
• Authors: Zhangqi Duan, Nigel Fernandez, Sri Kanakadandi, Bita Akram, Andrew Lan,
• Abstract要約: 知識コンポーネント(KC)は、生徒の学習をモデル化し、きめ細かいスキルの熟達レベルを追跡するのに役立つ問題にマッピングされる。 我々は、KC生成とタグ付けのための完全に自動化されたLLMベースのパイプラインを、オープンエンドプログラミング問題に対して提示する。 我々は、パイプラインのKCタグ付け精度が、人間のドメインの専門家と比較した場合、合理的に正確であることを示すために、人間の評価を行う。
• 参考スコア（独自算出の注目度）: 2.1464087136305774
• License:
• Abstract: Knowledge components (KCs) mapped to problems help model student learning, tracking their mastery levels on fine-grained skills thereby facilitating personalized learning and feedback in online learning platforms. However, crafting and tagging KCs to problems, traditionally performed by human domain experts, is highly labor-intensive. We present a fully automated, LLM-based pipeline for KC generation and tagging for open-ended programming problems. We also develop an LLM-based knowledge tracing (KT) framework to leverage these LLM-generated KCs, which we refer to as KCGen-KT. We conduct extensive quantitative and qualitative evaluations validating the effectiveness of KCGen-KT. On a real-world dataset of student code submissions to open-ended programming problems, KCGen-KT outperforms existing KT methods. We investigate the learning curves of generated KCs and show that LLM-generated KCs have a comparable level-of-fit to human-written KCs under the performance factor analysis (PFA) model. We also conduct a human evaluation to show that the KC tagging accuracy of our pipeline is reasonably accurate when compared to that by human domain experts.
• Abstract（参考訳）: 知識コンポーネント(KC)は、生徒の学習をモデル化し、きめ細かいスキルの習得レベルを追跡することで、オンライン学習プラットフォームにおける個人化された学習とフィードバックを促進する。 しかしながら、人間ドメインの専門家が伝統的に行ってきた問題に対してKCを製作し、タグ付けすることは、非常に労働集約的である。 我々は、KC生成とタグ付けのための完全に自動化されたLLMベースのパイプラインを、オープンエンドプログラミング問題に対して提示する。 また、これらのLLM生成KCを活用するためのLLMベースの知識トレース(KT)フレームワークを開発し、これをKCGen-KTと呼ぶ。 我々は,KCGen-KTの有効性を検証し,定量的および定性的な評価を行った。 KCGen-KTは、オープンエンドプログラミング問題に対する学生コードの実際のデータセットにおいて、既存のKTメソッドよりも優れている。 生成したKCの学習曲線について検討し,LLM生成したKCがPFAモデルの下で人書きKCに匹敵するレベルを持つことを示す。 また、我々は、パイプラインのKCタグ付け精度が、人間のドメインの専門家と比較した場合、合理的に正確であることを示すために、人間の評価を行う。

関連論文リスト

• Sparse Binary Representation Learning for Knowledge Tracing [0.0]
  知識追跡モデル(KT)は、学生の過去の相互作用に基づいて将来のパフォーマンスを予測することを目的としている。 既存のKTモデルは、エクササイズに関連する人間定義の知識概念にのみ依存している。 KT モデル SBRKT (Sparse Binary Representation KT) を提案する。
  論文  参考訳（メタデータ） (2025-01-17T00:45:10Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions [2.6644846626273457]
  我々はGPT-4を用いて、化学とE-ラーニングにおけるマルチチョイス質問(MCQ)のためのKCを生成する。 我々は,Large Language Model (LLM) によるKCと人間によるKCの相違について分析した。 また,その内容に基づいて類似したKCをクラスタリングする帰納的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-30T22:57:49Z)
• From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [0.0]
  大規模言語モデル(LLM)は、人間のような自然言語を理解し、生成する能力で最近人気を集めている。 本研究は,オープンソースLLMによって促進されるKGの半自動構築について考察する。
  論文  参考訳（メタデータ） (2024-03-13T08:50:15Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。