論文の概要: I code or AI code: A comparative evaluation of AI-rated scores in classroom observations

• arxiv url: http://arxiv.org/abs/2609.18274v1
• Date: Wed, 16 Sep 2026 07:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.702004
• Title: I code or AI code: A comparative evaluation of AI-rated scores in classroom observations
• Title（参考訳）: I Code or AI code: 教室観察におけるAI評価スコアの比較評価
• Abstract要約: この研究は、香港の30の幼稚園の38の教室から87の動画記録を分析した。 その結果,感情支援領域におけるAIとレーダの収束度が向上した。 これらの結果は,教師と児童の相互作用の相対的な変化を,転写に基づくAIスコアリングが捉えていることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classroom observations are widely recognized as a key tool for establishing benchmarks of education quality and guiding pedagogical improvement, yet they remain resource-intensive and dependent on trained observers. This study evaluated the feasibility of using a LLM (GPT-5 model) to score teacher-child interactions in early childhood classrooms, benchmarked against human raters. The study analyzed 87 video-recorded observations from 38 classrooms across 30 kindergartens in Hong Kong. Using observation transcripts, the AI model was configured to apply the full Classroom Assessment Scoring System (CLASS) framework. AI-rated scores were then compared with human ratings by examining correlations and differences in mean scores of the CLASS domains and dimensions. The results showed greater convergence between AI and raters for the Emotional Support domain and, in particular, the Quality of Feedback dimension, which captures how teachers use feedback to extend children's learning. Greater divergence emerged for interactions that were more procedural or context-dependent, particularly within the Classroom Organization and Instructional Support domains. These findings suggest that transcript-based AI scoring may capture some of the relative variation in teacher-child interactions but cannot yet reproduce calibrated human judgements consistently across the full CLASS framework. AI-assisted observation may therefore be more appropriate as a preliminary screening tool rather than as a replacement for trained observers, providing teachers with evidence for reflection rather than high-stakes evaluation. Future research should examine whether domain-specific training and incorporation of contextual and visual information can improve alignment between AI and human rated scores.
• Abstract（参考訳）: 授業観察は、教育品質の指標を確立し、教育改善を導くための重要なツールとして広く認識されているが、それらは資源集約的で、訓練された観察者に依存している。 本研究は, 幼児期の教室において, LLM (GPT-5 model) を用いて教師と児童の交流を評価できる可能性について評価した。 この研究は、香港の30の幼稚園の38の教室から87の動画記録を分析した。 観察書き起こしを使用して、AIモデルは、完全なClassroom Assessment Scoring System(CLASS)フレームワークを適用するように設定された。 次に、CLASSドメインの平均スコアと次元の平均スコアの相関と差を調べることで、AI評価スコアと人間の評価スコアを比較した。 その結果、感情支援領域におけるAIとラッカーの収束度が向上し、特にフィードバックの質は、教師が子どもの学習を拡張するためにフィードバックをどのように利用するかを捉えた。 より手続き的あるいは文脈に依存した相互作用、特に教室組織と教育支援ドメインにおいて、より大きなばらつきが出現した。 これらの結果から,スクリプティングに基づくAIスコアリングは,教師と児童の相互作用の相対的な変化を捉えることができるが,完全なCLASSフレームワーク全体にわたって,校正された人間の判断を一貫して再現することはできないことが示唆された。 したがって、AIによる観察は、訓練された観察者の代わりとしてではなく、予備的なスクリーニングツールとしてより適切であり、高い評価ではなく、リフレクションの証拠を提供する。 今後の研究は、コンテキスト情報や視覚情報のドメイン固有のトレーニングと導入が、AIと人間の評価スコアの整合性を改善するかどうかを検討する必要がある。

関連論文リスト

• Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact [4.6840536642016195]
  本研究では,学習支援行動と単なる回答生成とを区別する公立学習ベンチマークについて検討する。 本稿では,問題解決指向と教育指向のベンチマーク性能のギャップに基づいた,軽量な診断ルーブリックを提案する。
  論文  参考訳（メタデータ） (2026-06-15T04:32:18Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• The Missing Evaluation Axis: What 10,000 Student Submissions Reveal About AI Tutor Effectiveness [9.482202294953526]
  我々は,AI教師の評価を,学生のインタラクションデータに基づく行動次元で拡張すべきだと論じる。 評価フレームワークを提案し,それに対応するAI教師のフィードバックで10,235のコード入力に適用する。 このフレームワークを使用して、大規模に導入されたコンピュータサイエンスコースにおいて、異なるセメータにまたがる2つのデプロイされたAIチューターを比較することで、学生のエンゲージメントパターンにかなりの違いが明らかになる。
  論文  参考訳（メタデータ） (2026-05-07T03:58:04Z)
• Evaluating Learner Representations for Differentiation Prior to Instructional Outcomes [1.6637373649145608]
  本研究は,学習者間の分離を共有比較ルールで保持するか否かに基づいて,学習者表現の評価方法を検討する。 本研究では,各学習者がコホート内の他者とどのように異なるかを,ペア距離を用いて評価する表現レベル尺度である差分性を導入する。 その結果、学習者レベルの表現は、相互作用レベルの表現よりも高い分離、より強力なクラスタリング構造、より信頼性の高いペアワイズ識別をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-04-07T13:13:47Z)
• When AI Meets Early Childhood Education: Large Language Models as Assessment Teammates in Chinese Preschools [13.924636663725776]
  高品質な教師子交流(TCI)は、幼児期の発達に欠かせないものであるが、従来の専門家による評価は、重要なスケーラビリティの課題に直面している。 中国のような大規模システムでは、25万人以上の幼稚園で3600万人の子どもが利用されており、手作業による観察のコストと時間要件は、継続的な品質監視を不可能にしている。 本稿では,AIが構造化された品質指標を抽出し,人間の専門家による判断との整合性を検証することによって,スケーラブルな評価チームメイトとして機能するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-03-25T15:05:34Z)
• Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots [0.38233569758620045]
  本研究では,デザイン思考教育における学生ポスター評価におけるTA支援評価と比較して,AI支援評価の信頼性と精度について検討した。 その結果、インストラクターとAIによる共感点と痛み点の統計的一致は低く、視覚コミュニケーションのアライメントはわずかに高かった。 この研究は、計算効率と人間の洞察を統合するハイブリッドアセスメントモデルの必要性を強調している。
  論文  参考訳（メタデータ） (2025-10-17T07:09:21Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。