論文の概要: A Large-Scale Real-World Evaluation of LLM-Based Virtual Teaching Assistant

• arxiv url: http://arxiv.org/abs/2506.17363v1
• Date: Fri, 20 Jun 2025 10:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.382379
• Title: A Large-Scale Real-World Evaluation of LLM-Based Virtual Teaching Assistant
• Title（参考訳）: LLMを用いた仮想教示アシスタントの大規模実世界評価
• Authors: Sunjun Kweon, Sooyohn Nam, Hyunseung Lim, Hwajung Hong, Edward Choi,
• Abstract要約: 仮想教示アシスタント(VTA)は、インスタントフィードバックを提供し、マルチターンインタラクションを促進することによって、学生の学習を強化する可能性がある。 本研究は、LLMベースのVTAを開発し、477人の大学院生によるAIプログラミングコースに展開する。 実世界の教室におけるVTA導入の可能性を評価し,導入の鍵となる課題を明らかにする。
• 参考スコア（独自算出の注目度）: 19.026750427901423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Virtual Teaching Assistants (VTAs) powered by Large Language Models (LLMs) have the potential to enhance student learning by providing instant feedback and facilitating multi-turn interactions. However, empirical studies on their effectiveness and acceptance in real-world classrooms are limited, leaving their practical impact uncertain. In this study, we develop an LLM-based VTA and deploy it in an introductory AI programming course with 477 graduate students. To assess how student perceptions of the VTA's performance evolve over time, we conduct three rounds of comprehensive surveys at different stages of the course. Additionally, we analyze 3,869 student--VTA interaction pairs to identify common question types and engagement patterns. We then compare these interactions with traditional student--human instructor interactions to evaluate the VTA's role in the learning process. Through a large-scale empirical study and interaction analysis, we assess the feasibility of deploying VTAs in real-world classrooms and identify key challenges for broader adoption. Finally, we release the source code of our VTA system, fostering future advancements in AI-driven education: \texttt{https://github.com/sean0042/VTA}.
• Abstract（参考訳）: LLM(Large Language Models)を利用した仮想教示アシスタント(VTA)は、インスタントフィードバックを提供し、マルチターンインタラクションを促進することによって、学生の学習を強化する可能性がある。 しかし、実世界の教室での有効性と受容に関する実証的研究は限られており、実際の影響は明らかでない。 本研究では,LLMをベースとしたVTAを開発し,477人の大学院生による導入型AIプログラミングコースに展開する。 VTAのパフォーマンスに対する学生の認識が時間とともにどのように変化するかを評価するため、コースの異なる段階で総合的な調査を3回実施する。 さらに,3,869人の学生-VTAインタラクションペアを分析し,一般的な質問タイプとエンゲージメントパターンを同定し,これらのインタラクションを従来の学生-人間-インストラクターのインタラクションと比較し,学習過程におけるVTAの役割を評価する。 大規模な実証的研究とインタラクション分析を通じて、実世界の教室にVTAを配置する可能性を評価し、より広範な採用の鍵となる課題を明らかにする。 最後に、我々はVTAシステムのソースコードをリリースし、AIによる教育の今後の進歩を後押しする。

関連論文リスト

• An Empirical Study of Federated Prompt Learning for Vision Language Model [50.73746120012352]
  本稿では,言語素性学習と視覚素性学習の行動的差異を系統的に検討する。 クライアントスケールやアグリゲーション戦略,プロンプト長といった,さまざまなflの影響評価実験を行う。 ラベルスキューとドメインシフトが共存する複雑なシナリオにおいて、迅速な学習を促進するための戦略を検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:09:15Z)
• Examining the Role of LLM-Driven Interactions on Attention and Cognitive Engagement in Virtual Classrooms [9.241265477406078]
  対人質問行動が学生のエンゲージメント、注意力、認知負荷、学習結果に与える影響について検討した。 その結果,認知的負荷が学習材料への注目度の増加と強く相関していることから,他者の認知的負荷を直接導入しなかったことが示唆された。
  論文  参考訳（メタデータ） (2025-05-12T09:21:19Z)
• INTERACT: Enabling Interactive, Question-Driven Learning in Large Language Models [15.825663946923289]
  大規模言語モデル(LLM)は、質問に答える能力は優れているが、知識を疑問視したり洗練したりすることなく、静的データを受動的に吸収する。 本稿では,LLMが学生と教師の対話を通して,対話型,質問駆動型学習にどのように移行できるかを考察する。
  論文  参考訳（メタデータ） (2024-12-16T02:28:53Z)
• When LLMs Learn to be Students: The SOEI Framework for Modeling and Evaluating Virtual Student Agents in Educational Interaction [12.070907646464537]
  教室シナリオにおける人格対応型仮想学生エージェント(LVSA)の構築と評価のためのSOEIフレームワークを提案する。 LoRAファインチューニングとエキスパートインフォームドプロンプト設計により,5つのLVSAをBig Five特性に基づいて生成する。 その結果,(1)LLMをベースとした学生エージェントのための教育的,心理的に基盤とした生成パイプライン,(2)行動リアリズムのためのハイブリッドでスケーラブルな評価フレームワーク,(3)LVSAsの教育的有用性に関する実証的な知見が得られた。
  論文  参考訳（メタデータ） (2024-10-21T07:18:24Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
  質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。 本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。 学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
  論文  参考訳（メタデータ） (2023-05-31T11:29:04Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。