論文の概要: Is ChatGPT a Good Teacher Coach? Measuring Zero-Shot Performance For
Scoring and Providing Actionable Insights on Classroom Instruction
- arxiv url: http://arxiv.org/abs/2306.03090v1
- Date: Mon, 5 Jun 2023 17:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 13:25:50.121948
- Title: Is ChatGPT a Good Teacher Coach? Measuring Zero-Shot Performance For
Scoring and Providing Actionable Insights on Classroom Instruction
- Title（参考訳）: ChatGPTは良い教師コーチか?
授業指導における得点と行動的洞察のためのゼロショットパフォーマンスの測定
- Authors: Rose E. Wang, Dorottya Demszky
- Abstract要約: 本稿では,AIが専門家のフィードバックを補うための費用効率のよい補完になるかどうかを,教師の指導を自動化して検討する。
生成型AIのための3つの教師指導課題を提案する: (A) 教室の観察装置に基づく書き起こしセグメントのスコア、(B) 優れた指導戦略のためのハイライトと機会の欠落を特定し、(C) より学生の推論を引き出すための実行可能な提案を行う。
本研究は,小学校数学書写におけるChatGPTのゼロショット性能を評価するために,専門家の数学教師を募集する。
- 参考スコア（独自算出の注目度）: 5.948322127194399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coaching, which involves classroom observation and expert feedback, is a
widespread and fundamental part of teacher training. However, the majority of
teachers do not have access to consistent, high quality coaching due to limited
resources and access to expertise. We explore whether generative AI could
become a cost-effective complement to expert feedback by serving as an
automated teacher coach. In doing so, we propose three teacher coaching tasks
for generative AI: (A) scoring transcript segments based on classroom
observation instruments, (B) identifying highlights and missed opportunities
for good instructional strategies, and (C) providing actionable suggestions for
eliciting more student reasoning. We recruit expert math teachers to evaluate
the zero-shot performance of ChatGPT on each of these tasks for elementary math
classroom transcripts. Our results reveal that ChatGPT generates responses that
are relevant to improving instruction, but they are often not novel or
insightful. For example, 82% of the model's suggestions point to places in the
transcript where the teacher is already implementing that suggestion. Our work
highlights the challenges of producing insightful, novel and truthful feedback
for teachers while paving the way for future research to address these
obstacles and improve the capacity of generative AI to coach teachers.
- Abstract（参考訳）: 教室の観察と専門家のフィードバックを含むコーチングは、教師のトレーニングの広範かつ基本的な部分である。
しかし、教師の大半は、限られたリソースと専門知識へのアクセスのため、一貫性のある高品質のコーチングにアクセスできない。
自動教師として機能することで、生成AIが専門家のフィードバックを補うコスト効率が向上するかどうかを検討する。
そこで,教師の指導課題として,(a)教室観察機器に基づく書き起こしセグメントのスコア付け,(b)優れた指導戦略のためのハイライトと見逃した機会の特定,(c)より多くの生徒の推論を引き出すための行動可能な提案の提供という3つの教師指導課題を提案する。
本研究は,初等数学教室書写におけるChatGPTのゼロショット性能を評価するために,専門家の数学教師を募集する。
以上の結果から,ChatGPTは授業改善に関連する応答を生成するが,新規で洞察に富むものではないことが判明した。
例えば、モデルの提案の82%は、教師がすでにその提案を実行している書き起こしにある場所を指し示している。
我々の研究は、教師に対する洞察に富んだ、斬新で、真実に満ちたフィードバックを生み出すことの課題を強調しながら、将来の研究がこれらの障害に対処し、教師をコーチするための生成AIの能力を向上させるための道を開く。
関連論文リスト
- Leveraging Large Language Models for Actionable Course Evaluation Student Feedback to Lecturers [6.161370712594005]
コンピュータサイエンス科の75科以上で742名の学生が回答した。
各コースについて,授業評価項目と動作可能な項目の要約を合成する。
本研究は, 授業環境における教師に対して, 実感的, 行動的, 適切なフィードバックを生み出すために, 生成的AIを使用する可能性を強調した。
論文 参考訳（メタデータ） (2024-07-01T13:29:55Z) - Active teacher selection for reinforcement learning from human feedback [14.009227941725783]
人間のフィードバックからの強化学習(RLHF)により、機械学習システムは人間のフィードバックから目的を学ぶことができる。
教師の合理性、専門性、コストの相違をモデル化するHidden Utility Banditフレームワークを提案する。
我々は、さまざまなソリューションアルゴリズムを開発し、それらを紙レコメンデーションシステムと新型コロナウイルスワクチンテストという2つの現実世界の領域に適用する。
論文 参考訳（メタデータ） (2023-10-23T18:54:43Z) - PapagAI:Automated Feedback for Reflective Essays [48.4434976446053]
ドクティック理論をベースとして,ハイブリッドAIシステムとして実装された,初のオープンソース自動フィードバックツールを提案する。
本研究の主な目的は,学生の学習成果の向上と,講師の指導活動を補完することである。
論文 参考訳（メタデータ） (2023-07-10T11:05:51Z) - Can Language Models Teach Weaker Agents? Teacher Explanations Improve
Students via Personalization [84.86241161706911]
教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。
また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。
教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
論文 参考訳（メタデータ） (2023-06-15T17:27:20Z) - Computationally Identifying Funneling and Focusing Questions in
Classroom Discourse [24.279653100481863]
本稿では,授業談話におけるファネリングと集中型質問を計算的に検出するタスクを提案する。
ファネリングと集中型質問にラベル付けされた2,348の教師発話の注釈付きデータセットをリリースする。
我々の最高のモデルである教師付きRoBERTaモデルは、データセットに微調整され、人間の専門家ラベルと.76の強い線形相関と、ポジティブな教育結果を持つ。
論文 参考訳（メタデータ） (2022-07-08T01:28:29Z) - Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge
Distillation [70.92135839545314]
本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。
DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
論文 参考訳（メタデータ） (2022-06-13T11:52:13Z) - Iterative Teacher-Aware Learning [136.05341445369265]
人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。
本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
論文 参考訳（メタデータ） (2021-10-01T00:27:47Z) - Iterative Machine Teaching without Teachers [12.239246363539634]
既存の反復型機械教育の研究は、すべての指導例の真の答えを知っている教師がいると仮定している。
本研究では,そのような教師が存在しない教師なしの事例について考察する。
生徒は各イテレーションで指導例を与えられるが、対応するラベルが正しいかどうか保証はない。
論文 参考訳（メタデータ） (2020-06-27T11:21:57Z) - Neural Multi-Task Learning for Teacher Question Detection in Online
Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。
マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文 参考訳（メタデータ） (2020-05-16T02:17:04Z) - Siamese Neural Networks for Class Activity Detection [49.320548570516124]
授業記録から教師や生徒の発話を自動的に識別する,Siameseニューラルフレームワークを構築した。
提案モデルは実世界の教育データセットに基づいて評価される。
論文 参考訳（メタデータ） (2020-05-15T14:03:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。