論文の概要: Bringing Pedagogy into Focus: Evaluating Virtual Teaching Assistants' Question-Answering in Asynchronous Learning Environments

• arxiv url: http://arxiv.org/abs/2509.17961v1
• Date: Mon, 22 Sep 2025 16:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.492007
• Title: Bringing Pedagogy into Focus: Evaluating Virtual Teaching Assistants' Question-Answering in Asynchronous Learning Environments
• Title（参考訳）: 教育に焦点を合わせる:非同期学習環境における仮想教師の質問応答の評価
• Authors: Li Siyan, Zhen Xu, Vethavikashini Chithrra Raghuram, Xuanming Zhang, Renzhe Yu, Zhou Yu,
• Abstract要約: 非同期学習環境(ALE)は、形式的および非公式な学習に広く採用されているが、タイムリーでパーソナライズされたサポートは限られている。 既存の評価は、しばしば表面レベルのメトリクスに依存し、教育理論に十分な基礎が欠如している。 本稿では,学習科学に根ざした評価フレームワークを提案し,非同期フォーラム議論に適した評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.371971971294503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous learning environments (ALEs) are widely adopted for formal and informal learning, but timely and personalized support is often limited. In this context, Virtual Teaching Assistants (VTAs) can potentially reduce the workload of instructors, but rigorous and pedagogically sound evaluation is essential. Existing assessments often rely on surface-level metrics and lack sufficient grounding in educational theories, making it difficult to meaningfully compare the pedagogical effectiveness of different VTA systems. To bridge this gap, we propose an evaluation framework rooted in learning sciences and tailored to asynchronous forum discussions, a common VTA deployment context in ALE. We construct classifiers using expert annotations of VTA responses on a diverse set of forum posts. We evaluate the effectiveness of our classifiers, identifying approaches that improve accuracy as well as challenges that hinder generalization. Our work establishes a foundation for theory-driven evaluation of VTA systems, paving the way for more pedagogically effective AI in education.
• Abstract（参考訳）: 非同期学習環境(ALE)は、形式的および非公式な学習に広く採用されているが、タイムリーでパーソナライズされたサポートは限られている。 この文脈では、仮想教示アシスタント(VTA)はインストラクターの作業量を削減できるが、厳密で教育的な音質評価が不可欠である。 既存の評価は、しばしば表面レベルのメトリクスに依存し、教育理論に十分な基礎が欠如しているため、異なるVTAシステムの教育的効果を有意義に比較することは困難である。 このギャップを埋めるために,ALE における共通 VTA デプロイメントコンテキストである非同期フォーラム議論に適した,学習科学に根ざした評価フレームワークを提案する。 多様なフォーラム投稿にVTA応答のエキスパートアノテーションを用いた分類器を構築した。 我々は,分類器の有効性を評価し,精度を向上するアプローチと一般化を妨げる課題を同定する。 我々の研究は、VTAシステムの理論駆動評価の基礎を確立し、教育においてより教育的に効果的なAIの道を開く。

関連論文リスト

• Partnering with AI: A Pedagogical Feedback System for LLM Integration into Programming Education [21.37197118335639]
  本稿では,大規模言語モデル(LLM)によるフィードバック生成のための新しいフレームワークを提案する。 本研究は, 教員が枠組みに整合すると, LLMが学生を効果的に支援できると考えていることを示唆する。 しかし、動的な教室環境にフィードバックを適応できないなど、いくつかの制限があった。
  論文  参考訳（メタデータ） (2025-07-01T03:48:48Z)
• A Large-Scale Real-World Evaluation of LLM-Based Virtual Teaching Assistant [19.026750427901423]
  仮想教示アシスタント(VTA)は、インスタントフィードバックを提供し、マルチターンインタラクションを促進することによって、学生の学習を強化する可能性がある。 本研究は、LLMベースのVTAを開発し、477人の大学院生によるAIプログラミングコースに展開する。 実世界の教室におけるVTA導入の可能性を評価し,導入の鍵となる課題を明らかにする。
  論文  参考訳（メタデータ） (2025-06-20T10:59:57Z)
• EducationQ: Evaluating LLMs' Teaching Capabilities Through Multi-Agent Dialogue Framework [9.76455227840645]
  大規模言語モデル(LLM)は、ますます教育ツールとして機能するが、その教育能力を評価することは困難である。 本研究では,動的シナリオをシミュレートして学習能力を効果的に評価するマルチエージェント対話フレームワークであるEducationQを紹介する。
  論文  参考訳（メタデータ） (2025-04-21T07:48:20Z)
• MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [76.1634959528817]
  我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。 MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。 閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
  論文  参考訳（メタデータ） (2025-02-26T08:43:47Z)
• PapagAI:Automated Feedback for Reflective Essays [48.4434976446053]
  ドクティック理論をベースとして,ハイブリッドAIシステムとして実装された,初のオープンソース自動フィードバックツールを提案する。 本研究の主な目的は,学生の学習成果の向上と,講師の指導活動を補完することである。
  論文  参考訳（メタデータ） (2023-07-10T11:05:51Z)
• UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
  質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。 本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。 学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
  論文  参考訳（メタデータ） (2023-05-31T11:29:04Z)
• Iterative Teacher-Aware Learning [136.05341445369265]
  人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。 本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
  論文  参考訳（メタデータ） (2021-10-01T00:27:47Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。