論文の概要: Detecting Knowledge Gaps from Conversational AI Interactions Using Curriculum Prerequisite Graphs

• arxiv url: http://arxiv.org/abs/2606.10736v1
• Date: Tue, 09 Jun 2026 11:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.472987
• Title: Detecting Knowledge Gaps from Conversational AI Interactions Using Curriculum Prerequisite Graphs
• Title（参考訳）: カリキュラム必須グラフを用いた会話型AIインタラクションからの知識ギャップの検出
• Authors: Youssef Medhat, Junsoo Park, Ploy Thajchayapong, Ashok K. Goel,
• Abstract要約: 学生の質問を会話型AI指導アシスタントからカリキュラムのトピックにマッピングするパイプラインを提示する。 大学院レベルのAIコースでは164名の学生から1,340名の質問イベントを評価した。
• 参考スコア（独自算出の注目度）: 1.784933900656067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large online courses generate thousands of student questions directed at conversational AI teaching assistants, yet these interaction logs remain largely untapped as diagnostic signals. We present a pipeline that maps student questions from a conversational AI teaching assistant to curriculum topics using a few-shot text classifier, grounded in a GPT-4-extracted prerequisite knowledge graph of course concepts. Evaluated on 1,340 question events from 164 students in a graduate-level AI course, our classifier achieves 80.0% accuracy across 43 labels (42 curriculum topics plus an "unknown" abstention class). Topic-level question volume correlates significantly with student self-reported difficulty from an independent mid-semester survey (rho = 0.491, p = 0.008, n = 28 topics), providing convergent evidence that the classified question stream reflects genuine topic difficulty. These results demonstrate that conversational AI interaction logs, mapped onto curriculum structure, carry actionable signals about topic-level knowledge gaps and provide instructors with a curriculum-grounded view of which topics warrant attention.
• Abstract（参考訳）: 大規模なオンラインコースは、会話型AI教育アシスタントに向けられた何千もの学生の質問を生成するが、これらの対話ログは診断信号としてほとんど使われていない。 本稿では,GPT-4で抽出した授業概念の前提知識グラフに基づいて,学生の質問を対話型AI教示アシスタントからカリキュラムのトピックにマッピングするパイプラインを提案する。 大学院レベルのAIコースの164人の学生の1,340の質問イベントを評価し,43のラベル(42のカリキュラムトピックと"未知の"禁忌クラス)で80.0%の精度で分類した。 トピックレベルの質問ボリュームは、独立した中学期調査(rho = 0.491, p = 0.008, n = 28)からの学生の自己申告困難と大きく相関し、分類された質問ストリームが真のトピックの難しさを反映しているという収束した証拠を提供する。 これらの結果は,対話型AIインタラクションログをカリキュラム構造にマッピングし,トピックレベルの知識ギャップに関する実行可能なシグナルを伝達し,トピックに注意を喚起するカリキュラム的な視点をインストラクターに提供することを実証している。

関連論文リスト

• What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics [0.0]
  本研究では,オンライン学習環境における学生の誤解を識別し,特徴付けるための体系的なアプローチを提案する。 我々は,3,802人の医学生を対象とする,5つのオンラインバイオメディカル・サイエンス・コースの9つのコースのデータを分析した。
  論文  参考訳（メタデータ） (2026-04-30T23:32:50Z)
• AI Meets Mathematics Education: A Case Study on Supporting an Instructor in a Large Mathematics Class with Context-Aware AI [18.81288652134873]
  大規模な大学コースは、タイムリーでスケーラブルな教育支援を提供する上で、永続的な課題に直面している。 本稿では,教員との密接なコラボレーションにより実施したCalculus IコースにおけるAI支援支援の人間中心ケーススタディについて述べる。 我々は,2,588人の学生と教師のインタラクションに基づいて,ライトウェイト言語モデルを微調整し,議論フォーラムで学生の質問に答えるシステムを開発した。
  論文  参考訳（メタデータ） (2026-03-09T10:59:52Z)
• Mining the Gold: Student-AI Chat Logs as Rich Sources for Automated Knowledge Gap Detection [2.6808104662419097]
  大規模な講義では、講師は学生の知識ギャップをタイムリーに識別する上で課題に直面している。 本稿では,学生のチャットログをAIアシスタントで分析することにより,大規模講義における共通知識ギャップを自動的に検出するマルチエージェントLLMフレームワークであるQueryQuiltを提案する。 本評価は,学生間の知識ギャップの同定に100%の精度を達成し,実際の学生とAIの対話データでテストした場合の95%の完全性を示した。
  論文  参考訳（メタデータ） (2025-12-26T23:04:04Z)
• Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models [51.47994645529258]
  本稿では,問合せをGNNアグリゲーションに組み込んでKG関連性を動的に評価するQAP(QA-Aware Knowledge Graph Prompting)を提案する。 実験の結果、QAPは複数のデータセットで最先端の手法よりも優れており、その有効性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T17:09:11Z)
• Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
  我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。 GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。 この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
  論文  参考訳（メタデータ） (2024-08-07T12:11:49Z)
• SyllabusQA: A Course Logistics Question Answering Dataset [45.90423821963144]
  我々はSyllabusQAを紹介した。63のリアルコースシラビを持つオープンソースデータセットで、36のメジャーをカバーし、5,078のオープンエンドコース関連質問応答ペアを含む。 我々は,大規模言語モデルから検索拡張生成まで,このタスクのいくつかの強力なベースラインをベンチマークする。 従来のテキスト類似性の指標で人間に近づいたとしても、事実の正確さという点では、自動化アプローチと人間の間には大きなギャップが残っていることが分かっています。
  論文  参考訳（メタデータ） (2024-03-03T03:01:14Z)
• Rethinking the Role of Scale for In-Context Learning: An Interpretability-based Case Study at 66 Billion Scale [60.336655143884904]
  本研究では,大規模言語モデルによるタスクの文脈内学習性能が,その基盤となるコンポーネントに均一に分散していないという仮説を考察する。 タスク間のインコンテキスト学習とインコンテキストサンプルの数に対して,アテンションヘッドのセット(重要でない)にかなりの重複がみられた。
  論文  参考訳（メタデータ） (2022-12-18T14:36:07Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。