論文の概要: From Prediction to Application: Language Model-based Code Knowledge Tracing with Domain Adaptive Pre-Training and Automatic Feedback System with Pedagogical Prompting for Comprehensive Programming Education
- arxiv url: http://arxiv.org/abs/2409.00323v1
- Date: Sat, 31 Aug 2024 01:36:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 15:37:00.759416
- Title: From Prediction to Application: Language Model-based Code Knowledge Tracing with Domain Adaptive Pre-Training and Automatic Feedback System with Pedagogical Prompting for Comprehensive Programming Education
- Title（参考訳）: 予測から応用へ:ドメイン適応型事前学習による言語モデルに基づくコード知識の追跡と教育的試行による包括的プログラミング教育のための自動フィードバックシステム
- Authors: Unggi Lee, Jiyeong Bae, Yeonji Jung, Minji Kang, Gyuri Byun, Yeonseo Lee, Dohee Kim, Sookbun Lee, Jaekwon Park, Taekyung Ahn, Gunho Lee, Hyeoncheol Kim,
- Abstract要約: 本稿では,言語モデルに基づくコード知識追跡(CodeLKT)を紹介する。
CodeLKTは、言語モデルに基づく知識追跡(LKT)のプログラミング教育への革新的な応用である。
- 参考スコア（独自算出の注目度）: 2.932399587069876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Tracing (KT) is a critical component in online learning, but traditional approaches face limitations in interpretability and cross-domain adaptability. This paper introduces Language Model-based Code Knowledge Tracing (CodeLKT), an innovative application of Language model-based Knowledge Tracing (LKT) to programming education. CodeLKT leverages pre-trained language models to process learning data, demonstrating superior performance over existing KT and Code KT models. We explore Domain Adaptive Pre-Training (DAPT) and Task Adaptive Pre-Training (TAPT), showing enhanced performance in the coding domain and investigating cross-domain transfer between mathematics and coding. Additionally, we present an theoretically-informed integrated system combining CodeLKT with large language models to generate personalized, in-depth feedback to support students' programming learning. This work advances the field of Code Knowledge Tracing by expanding the knowledge base with language model-based approach and offering practical implications for programming education through data-informed feedback.
- Abstract（参考訳）: 知識追跡(KT)はオンライン学習において重要な要素であるが、従来のアプローチでは解釈可能性とドメイン間の適応性の制限に直面している。
本稿では,Language Model-based Code Knowledge Tracing (CodeLKT)を紹介し,Language Model-based Knowledge Tracing (LKT)のプログラミング教育への応用について述べる。
CodeLKTは事前訓練された言語モデルを利用して学習データを処理し、既存のKTモデルやCode KTモデルよりも優れたパフォーマンスを示す。
本稿では、DAPT(Domain Adaptive Pre-Training)とTAPT(Task Adaptive Pre-Training)について検討し、コーディング領域の性能向上と、数学とコーディングの間のクロスドメイン転送について検討する。
さらに,CodeLKTと大規模言語モデルを組み合わせた理論的にインフォームドされた統合システムを提案し,学生のプログラミング学習を支援するためのパーソナライズされた奥行きフィードバックを生成する。
この研究は、言語モデルに基づくアプローチで知識ベースを拡張し、データインフォームドフィードバックを通じてプログラミング教育に実践的な意味を提供することによって、コード知識追跡の分野を前進させる。
関連論文リスト
- Language Model Can Do Knowledge Tracing: Simple but Effective Method to Integrate Language Model and Knowledge Tracing Task [3.1459398432526267]
本稿では,LKT(Language Model-based Knowledge Tracing)を提案する。
LKTはテキスト情報を効果的に組み込んでおり、大規模なベンチマークデータセットで以前のKTモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2024-06-05T03:26:59Z) - Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。
しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。
従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
論文 参考訳（メタデータ） (2024-05-28T23:32:46Z) - CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。
CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。
ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文 参考訳（メタデータ） (2024-05-03T02:48:55Z) - Understanding LLMs: A Comprehensive Overview from Training to Inference [52.70748499554532]
大規模言語モデルの低コストなトレーニングと展開は、将来の開発トレンドを表している。
トレーニングに関する議論には、データ前処理、トレーニングアーキテクチャ、事前トレーニングタスク、並列トレーニング、モデル微調整に関連する関連コンテンツなど、さまざまな側面が含まれている。
推論の面では、モデル圧縮、並列計算、メモリスケジューリング、構造最適化などのトピックを取り上げている。
論文 参考訳（メタデータ） (2024-01-04T02:43:57Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳（メタデータ） (2023-07-10T11:29:41Z) - Leveraging pre-trained language models for conversational information
seeking from text [2.8425118603312]
本稿では,プロセス記述文書から情報抽出の問題に対処するために,文脈内学習と事前学習言語表現モデルの使用について検討する。
その結果、このアプローチの可能性と、コンテキスト内学習のカスタマイズの有用性が浮き彫りになった。
論文 参考訳（メタデータ） (2022-03-31T09:00:46Z) - Knowledge Based Multilingual Language Model [44.70205282863062]
知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。
我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。
生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
論文 参考訳（メタデータ） (2021-11-22T02:56:04Z) - Cross-Lingual Adaptation for Type Inference [29.234418962960905]
弱い型付き言語間で深層学習に基づく型推論を行うための言語間適応フレームワークPLATOを提案する。
強く型付けされた言語からのデータを活用することで、PLATOは、バックボーンのクロスプログラミング言語モデルの難易度を改善する。
論文 参考訳（メタデータ） (2021-07-01T00:20:24Z) - Reinforced Iterative Knowledge Distillation for Cross-Lingual Named
Entity Recognition [54.92161571089808]
言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。
既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。
半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
論文 参考訳（メタデータ） (2021-06-01T05:46:22Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳（メタデータ） (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。