論文の概要: What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics

• arxiv url: http://arxiv.org/abs/2605.00294v1
• Date: Thu, 30 Apr 2026 23:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.790847
• Title: What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics
• Title（参考訳）: 理解しないものは何か? 大規模言語モデルを用いて, 話題の混同に関する学生の誤解を識別し, 特徴づける
• Authors: Michael J. Parker, Maria G. Zavala-Cerna,
• Abstract要約: 本研究では,オンライン学習環境における学生の誤解を識別し,特徴付けるための体系的なアプローチを提案する。 我々は,3,802人の医学生を対象とする,5つのオンラインバイオメディカル・サイエンス・コースの9つのコースのデータを分析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study presents a systematic approach to identifying and characterizing student misconceptions in online learning environments through a novel combination of quantitative performance analysis and large language model (LLM) assessment. We analyzed data from 9 course periods across 5 online biomedical science courses, encompassing 3,802 medical student enrollments. Using data from 40-50 topic-focused quizzes per course, we developed a two-stage methodology. First, we identified challenging central topics using quiz-level performance metrics. Second, we employed LLMs to characterize the underlying misconceptions in these high-priority areas. By examining student performance on first attempts across primarily multiple-choice questions (MCQs), we identified consistently challenging topics that were also central to course objectives. We then leveraged recent advances in generative AI to analyze three distinct data sources in combination: quiz question content, student response patterns, and lecture transcripts. This approach revealed actionable insights about student misconceptions that were not apparent from performance data alone. The quality of the LLM-identified misconceptions was rated as excellent by subject matter experts. We also conducted teacher interviews to assess the perceived utility of our topic identification method. Faculty found that data-driven identification of challenging topics was valuable and corroborated their own classroom observations. This methodology provides a scalable approach to characterizing student difficulties in learning environments where quizzes are used. Our findings demonstrate the potential for targeted and potentially personalized interventions in future course iterations, with clear pathways for measuring intervention effectiveness through follow-up quiz performance.
• Abstract（参考訳）: 本研究では,量的性能分析と大規模言語モデル(LLM)の新たな組み合わせにより,オンライン学習環境における学生の誤解を識別し,特徴付けるための体系的なアプローチを提案する。 我々は,3,802人の医学生を対象とする,5つのオンラインバイオメディカル・サイエンス・コースの9つのコースのデータを分析した。 40-50のトピック中心のクイズから得られたデータを用いて,2段階の方法論を開発した。 まず、クイズレベルのパフォーマンスメトリクスを使用して、課題の中心トピックを特定しました。 第2に、これらの高優先度領域の根底にある誤解を特徴づけるためにLLMを用いた。 主に複数選択質問(MCQ)を対象とした最初の試みにおける学生のパフォーマンスを調べた結果,学習目標の中心となる課題が一貫した課題であることが判明した。 次に、生成AIの最近の進歩を活用して、クイズ質問内容、学生の反応パターン、講義の書き起こしという3つの異なるデータソースを組み合わせて分析した。 このアプローチは、パフォーマンスデータだけでは明らかでない学生の誤解に関する実用的な洞察を明らかにした。 LLMを同定した誤認識の質は、主観的事項の専門家によって優れたものと評価された。 また,課題特定手法の有用性を評価するために,教師インタビューを行った。 学部は、挑戦的なトピックをデータ駆動で識別することは価値があることを発見し、教室での観察を裏付けた。 この手法は、クイズを使用する学習環境における生徒の困難を特徴づけるためのスケーラブルなアプローチを提供する。 本研究は, 今後のコースの反復において, 標的的かつ潜在的にパーソナライズされた介入の可能性を示し, フォローアップクイズによる介入効果の測定方法を明らかにした。

関連論文リスト

• "How Do I ...?": Procedural Questions Predominate Student-LLM Chatbot Conversations [39.146761527401424]
  本稿では,学習コンテキストの異なる2つのデータセット,形式的自己学習(formive self-study)と要約的評価コースワーク(summative evaluationed coursework)に焦点をあてる。 11の異なるLarge Language Model(LLM)と3つの人間レーダを用いて、両方の学習文脈から6,113のメッセージを分析した。 以上の結果から,「手続き的」な質問は両学習文脈で優位に立つが,学生が要約的評価の準備をする場合には,その傾向が示唆された。
  論文  参考訳（メタデータ） (2026-02-20T17:27:41Z)
• Mining the Gold: Student-AI Chat Logs as Rich Sources for Automated Knowledge Gap Detection [2.6808104662419097]
  大規模な講義では、講師は学生の知識ギャップをタイムリーに識別する上で課題に直面している。 本稿では,学生のチャットログをAIアシスタントで分析することにより,大規模講義における共通知識ギャップを自動的に検出するマルチエージェントLLMフレームワークであるQueryQuiltを提案する。 本評価は,学生間の知識ギャップの同定に100%の精度を達成し,実際の学生とAIの対話データでテストした場合の95%の完全性を示した。
  論文  参考訳（メタデータ） (2025-12-26T23:04:04Z)
• EduVidQA: Generating and Evaluating Long-form Answers to Student Questions based on Lecture Videos [8.393656792613]
  本稿では,マルチモーダル大規模言語モデル(MLLM)を用いて,オンライン講義から学生の質問に自動的に答える方法について検討する。 EduVidQAデータセットは,296のコンピュータサイエンスビデオから5252対の質問応答ペア(合成と実の両方)で紹介され,さまざまなトピックと難易度をカバーしている。
  論文  参考訳（メタデータ） (2025-09-28T23:33:58Z)
• Early Detection of At-Risk Students Using Machine Learning [0.0]
  リスクの高い学生を対象としたスクリーニングにより,高等教育の継続と学生の退学率の持続的課題に取り組むことを目的とする。 この研究は、SVM(Support Vector Machines)、Naive Bayes、K-nearest neighbors(KNN)、決定木(Decision Trees)、ロジスティック回帰(Logistic Regression)、ランダムフォレスト(Random Forest)など、いくつかの機械学習モデルを検討する。 分析の結果,全てのアルゴリズムがリスクの高い学生の予測に許容できる結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2024-12-12T17:33:06Z)
• Dataset resulting from the user study on comprehensibility of explainable AI algorithms [5.775094401949666]
  本稿では、説明可能な人工知能(XAI)アルゴリズムの理解度に関するユーザ研究の結果であるデータセットを紹介する。 研究参加者は149人の候補者から募集され, 菌学領域の専門家を代表する3つのグループを結成した。 データセットの主な部分には39のインタビュー書が含まれており、参加者は、食べられるキノコと食べられないキノコを区別するために訓練された機械学習モデルの意思決定の解釈に関する一連のタスクと質問を完了するよう求められた。
  論文  参考訳（メタデータ） (2024-10-21T11:37:58Z)
• Explainable Few-shot Knowledge Tracing [48.877979333221326]
  本稿では,学生の記録から学生の知識をトラッキングし,自然言語による説明を提供する認知誘導フレームワークを提案する。 3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T10:07:21Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。