論文の概要: AI-Driven Assessment of Human Tutors: Linking Training Performance to Real-Life Practice
- arxiv url: http://arxiv.org/abs/2606.18617v1
- Date: Wed, 17 Jun 2026 02:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.969903
- Title: AI-Driven Assessment of Human Tutors: Linking Training Performance to Real-Life Practice
- Title（参考訳）: ヒューマンチュータのAI駆動評価 - トレーニングパフォーマンスと実生活の実践のリンク
- Authors: Danielle R. Thomas, Marie Cynthia Abijuru Kamikazi, Clara Brandt, Conrad Borchers, Kenneth R. Koedinger,
- Abstract要約: 本稿では,訓練中のオープン応答と実生活指導の両立を評価するAI駆動システムを提案する。
我々はジェネレーティブAI(Gemini-2.5-pro)を用いて、教師のスキルを実生活のアプリケーションに伝達する過程を計測する。
- 参考スコア（独自算出の注目度）: 1.3597553728687461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There exist numerous tutor training platforms. However, few provide AI-driven training and evaluation for human tutors based on real-life performance. We present an AI-driven system that assesses both open responses during training and authentic real-life tutoring. Unlike platforms that only assess learning through online training or simulations, our system utilizes Generative AI (Gemini-2.5-pro) to analyze transcriptions of authentic tutoring, measuring the transfer of tutor skills to real-life application. Human tutors instructing students remotely in math (N=86) completed six scenario-based lessons, averaging a significant 7.4% learning gain. Using mixed-effects models across 405 session-to-lesson pairs, we found that training performance significantly predicted real-life transcript scores with an effect size of 0.25 SD. Model comparison (AIC/BIC) indicated averaging open response and multiple choice performance during training predicted real-life tutor performance best, although open responses were comparatively more predictive. Exploratory analysis showed that after training, tutors were significantly more likely to encounter pedagogical opportunities to apply their skills (61.1% to 68.9%) and demonstrated higher execution quality within those opportunities (65.5% to 68.1%). Interrupted time series analysis suggested that these tutor improvements were part of a gradual trend over time rather than an immediate intervention effect of training. We illustrate an AI-driven method to link tutor training with real-life assessment. In doing so, we contribute open datasets, AI prompts, and scoring rubrics to support transparency and reproducibility.
- Abstract（参考訳）: 教官養成プラットフォームは多数存在する。
しかし、実際のパフォーマンスに基づいて、AIによるトレーニングと人間家庭教師の評価を提供するものはほとんどない。
本稿では,訓練中のオープン応答と実生活指導の両立を評価するAI駆動システムを提案する。
オンライントレーニングやシミュレーションによる学習のみを評価するプラットフォームとは異なり,本システムはジェネレーティブAI(Gemini-2.5-pro)を用いて,教師のスキルを実生活のアプリケーションに伝達する過程を解析する。
数学を遠隔で教える人間教師(N=86)は6つのシナリオベースの授業を完了し、平均7.4%の学習成績を得た。
また,405対のセッション・ツー・レスポン間の混合効果モデルを用いて,実生活の転写スコアを0.25 SDで有意に予測した。
モデル比較 (AIC/BIC) では, 学習時の平均開度と複数選択性能は, より予測的であったものの, 実生活のチューター性能が最も高かった。
探索分析の結果、教師は教育の機会(61.1%から68.9%)に遭遇し、それらの機会の中で高い実行品質(65.5%から68.1%)を示した。
中断時系列分析では、これらのチューター改善は訓練の即時介入効果ではなく、時間とともに段階的な傾向の一部であったことが示唆された。
本稿では,教員養成と実生活評価を関連付けるAI駆動手法について説明する。
そうすることで、オープンデータセット、AIプロンプト、および、透明性と再現性をサポートするためにルーリックのスコアリングにコントリビュートします。
関連論文リスト
- Beyond Passive Viewing: A Pilot Study of a Hybrid Learning Platform Augmenting Video Lectures with Conversational AI [4.500362688166346]
従来のビデオベースの指導はコスト効率が高くスケーラブルだが、学習者のエンゲージメントを維持するための体系的な失敗を示す。
本稿では、リアルタイムの会話型AI教師と従来のビデオ講義を統合した、ハイブリッド学習プラットフォームを試験的に評価する。
論文 参考訳（メタデータ） (2026-03-10T04:56:19Z) - Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。
オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。
オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
論文 参考訳（メタデータ） (2025-09-01T10:04:20Z) - Do Tutors Learn from Equity Training and Can Generative AI Assess It? [2.116573423199236]
本研究では,教師のスキル向上のためのオンライン授業において,教師のパフォーマンスを評価する。
教師の自己報告による知識への信頼度の増加に伴い,学習の習得率が著しく向上することがわかった。
この作業では、レッスンログデータ、チューター応答、人間のアノテーション用のルーブリック、生成AIプロンプトのデータセットが利用可能になる。
論文 参考訳（メタデータ） (2024-12-15T17:36:40Z) - Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment [66.6041949490137]
そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。
以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。
本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
論文 参考訳（メタデータ） (2024-11-17T00:13:00Z) - GUIDE: Real-Time Human-Shaped Agents [4.676987516944155]
リアルタイム強化学習のためのGUIDEを紹介した。
人間のフィードバックが10分しかなく、我々のアルゴリズムはRLベースラインと比較して最大30%の成功率を達成できる。
論文 参考訳（メタデータ） (2024-10-19T18:59:39Z) - Self-training Language Models for Arithmetic Reasoning [0.0]
我々は、新しいデータなしでモデルの推論能力を改善する可能性を探る。
モデルは単一ラウンド(オフライン)とオンラインの自己学習の両方で大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2024-07-11T11:06:05Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - Training Strategies for Improved Lip-reading [61.661446956793604]
本研究では,最先端データ拡張手法,時間モデル,その他のトレーニング戦略の性能について検討する。
すべての手法を組み合わせると、分類精度は93.4%となり、現在の最先端技術よりも4.6%向上した。
各種学習手法の誤り解析により, 難解な単語の分類精度を高めることにより, 性能が向上することが明らかとなった。
論文 参考訳（メタデータ） (2022-09-03T09:38:11Z) - Contrasting Contrastive Self-Supervised Representation Learning Models [29.1857781719894]
我々は,自己教師付き表現学習の最も成功し,人気のある変種の一つであるコントラスト的アプローチを分析した。
エンコーダ30台,プリトレーニングデータセット4台,ダウンストリームタスク20台を含む,700以上のトレーニング実験を行った。
論文 参考訳（メタデータ） (2021-03-25T17:40:38Z) - Facial Feedback for Reinforcement Learning: A Case Study and Offline
Analysis Using the TAMER Framework [51.237191651923666]
訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。
設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。
シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
論文 参考訳（メタデータ） (2020-01-23T17:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。