論文の概要: Mining the Gold: Student-AI Chat Logs as Rich Sources for Automated Knowledge Gap Detection

• arxiv url: http://arxiv.org/abs/2512.22404v1
• Date: Fri, 26 Dec 2025 23:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.036938
• Title: Mining the Gold: Student-AI Chat Logs as Rich Sources for Automated Knowledge Gap Detection
• Title（参考訳）: 金の採掘:知識ギャップの自動検出のためのリッチソースとしての学生AIチャットログ
• Authors: Quanzhi Fu, Qiyu Wu, Dan Williams,
• Abstract要約: 大規模な講義では、講師は学生の知識ギャップをタイムリーに識別する上で課題に直面している。 本稿では,学生のチャットログをAIアシスタントで分析することにより,大規模講義における共通知識ギャップを自動的に検出するマルチエージェントLLMフレームワークであるQueryQuiltを提案する。 本評価は,学生間の知識ギャップの同定に100%の精度を達成し,実際の学生とAIの対話データでテストした場合の95%の完全性を示した。
• 参考スコア（独自算出の注目度）: 2.6808104662419097
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the significant increase in enrollment in computing-related programs over the past 20 years, lecture sizes have grown correspondingly. In large lectures, instructors face challenges on identifying students' knowledge gaps timely, which is critical for effective teaching. Existing classroom response systems rely on instructor-initiated interactions, which limits their ability to capture the spontaneous knowledge gaps that naturally emerge during lectures. With the widespread adoption of LLMs among students, we recognize these student-AI dialogues as a valuable, student-centered data source for identifying knowledge gaps. In this idea paper, we propose QueryQuilt, a multi-agent LLM framework that automatically detects common knowledge gaps in large-scale lectures by analyzing students' chat logs with AI assistants. QueryQuilt consists of two key components: (1) a Dialogue Agent that responds to student questions while employing probing questions to reveal underlying knowledge gaps, and (2) a Knowledge Gap Identification Agent that systematically analyzes these dialogues to identify knowledge gaps across the student population. By generating frequency distributions of identified gaps, instructors can gain comprehensive insights into class-wide understanding. Our evaluation demonstrates promising results, with QueryQuilt achieving 100% accuracy in identifying knowledge gaps among simulated students and 95% completeness when tested on real student-AI dialogue data. These initial findings indicate the system's potential for facilitate teaching in authentic learning environments. We plan to deploy QueryQuilt in actual classroom settings for comprehensive evaluation, measuring its detection accuracy and impact on instruction.
• Abstract（参考訳）: 過去20年間にコンピュータ関連プログラムの登録が大幅に増加し、講義のサイズが増加してきた。 大規模な講義では、教師は学生の知識ギャップをタイムリーに識別する上で課題に直面しており、これは効果的な教育に欠かせないものである。 既存の教室の応答システムはインストラクター主導の相互作用に依存しており、講義中に自然に現れる自発的な知識ギャップを捉える能力を制限する。 学生の間でLLMが広く採用されていることから,これらの学生とAIの対話は,知識ギャップを識別するための価値ある,学生中心のデータソースとして認識されている。 本稿では,学生のチャットログをAIアシスタントで分析することにより,大規模講義における共通知識ギャップを自動的に検出するマルチエージェントLLMフレームワークであるQueryQuiltを提案する。 QueryQuilt は,(1) 学生の質問に回答する対話エージェント,(2) 学生の知識ギャップを明らかにするための知識ギャップ識別エージェントの2つから構成される。 特定されたギャップの周波数分布を生成することで、インストラクターはクラス全体の理解に関する総合的な洞察を得ることができる。 本評価は,学生間の知識ギャップの同定に100%の精度を達成し,実際の学生とAIの対話データでテストした場合の95%の完全性を示した。 これらの初期の知見は、真正学習環境における教育を促進するためのシステムの可能性を示している。 我々は,実際の教室環境にQueryQuiltをデプロイし,その検出精度と教育への影響を総合的に評価する。

関連論文リスト

• Investigating Large Language Models in Diagnosing Students' Cognitive Skills in Math Problem-solving [23.811625065982486]
  本研究では,現在最先端の大規模言語モデルが,数学における生徒の認知能力をどのように診断するかを検討する。 110の中学校数学問題に対する639の学生回答からなる新しいベンチマークデータセットであるMathCogを構築した。 評価の結果,現在最先端のLCMでもF1スコアは0.5以下であり,誤った症例に対して強い虚偽の信頼感を示す傾向にあることがわかった。
  論文  参考訳（メタデータ） (2025-04-01T14:29:41Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Explainable Few-shot Knowledge Tracing [48.877979333221326]
  本稿では,学生の記録から学生の知識をトラッキングし,自然言語による説明を提供する認知誘導フレームワークを提案する。 3つの広く使われているデータセットによる実験結果から、LLMは競合する深層知識追跡手法に匹敵する、あるいは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T10:07:21Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Quiz-based Knowledge Tracing [61.9152637457605]
  知識追跡は、学習相互作用に基づいて個人の進化する知識状態を評価することを目的としている。 QKTは、既存の方法と比較して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-05T12:48:42Z)
• GPT-based Open-Ended Knowledge Tracing [24.822739021636455]
  学生の質問に対する回答を正確に予測する新しい課題について検討する。 私たちの研究は、コンピュータサイエンス教育の分野において、プログラミングに関する質問に基礎を置いています。 学生の知識に基づくコード生成手法であるOKT問題の初期解を開発した。
  論文  参考訳（メタデータ） (2022-02-21T02:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。