論文の概要: Measuring the Professional Educational Competence of Foundation Models

• arxiv url: http://arxiv.org/abs/2609.28484v1
• Date: Sun, 09 Aug 2026 06:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.032466
• Title: Measuring the Professional Educational Competence of Foundation Models
• Title（参考訳）: 基礎モデルの専門的教育能力の測定
• Abstract要約: EDU 1.0(Educational Due Diligence for Foundation Models)を導入する。 Edu 1.0は、米国、中国、インドの教師認定試験と採用試験から10,012の質問で構成されている。 基礎的なリテラシーと知識、教育学の原則、主題固有の教育学の専門知識をカバーしている。
• 参考スコア（独自算出の注目度）: 21.041925844023655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models tutor, assess, and instruct at population scale, requiring externally defined measures of educational competence. Existing benchmarks emphasize difficult academic problems or isolated synthetic educational tasks rather than authentic teacher-entry standards. We introduce EDU 1.0 (Educational Due Diligence for Foundation Models), which uses teacher-entry assessments as proxies for educational competence rather than substitutes for human qualification. EDU 1.0 comprises 10,012 questions from teacher certification and recruitment examinations in the United States, China, and India, including the U.S. Praxis series, China's National Teacher Qualification Examination, and India's Kendriya Vidyalaya Sangathan examinations. It covers foundational literacy and knowledge, pedagogical principles, and subject-specific pedagogical expertise across language arts, mathematics, science, social science, and education practice. Across 36 foundation-model variants, the strongest proprietary model reaches a response-balanced score of 96.5%; the leading open-weight model trails by 2.1 percentage points, while the leading system deployable on a single accelerator reaches 92.2%. These aggregates conceal a shared limitation: all three systems score higher on general pedagogical principles than on assessments requiring pedagogy to be applied within a discipline. Their subject-assessment scores span 4.1-8.8 points, and their shortfall relative to general pedagogy widens from 2.6 to 4.1 points as capability declines. The outstanding requirement is therefore pedagogical content knowledge, the capacity to make particular subject matter teachable to particular learners, rather than general pedagogy or model scale.
• Abstract（参考訳）: 財団は、人口規模でチューター、評価、指導をモデル化し、外部的に定義された教育能力の尺度を必要とする。 既存のベンチマークでは、真の教員資格基準ではなく、難しい学術的問題や孤立した総合的な教育課題が強調されている。 EDU 1.0(Educational Due Diligence for Foundation Models)を紹介する。 EDU 1.0は、米国、中国、インドにおける教師の認定試験と採用試験から10,012の質問で構成されており、その中には米国プラキシスシリーズ、中国の国家教員資格試験、インドのケンドリヤ・ヴィディアラヤ・サンガサン試験が含まれる。 基礎的なリテラシーと知識、教育学の原則、言語芸術、数学、科学、社会科学、教育の実践にまたがる主題固有の教育学の専門知識をカバーしている。 36種類の基本モデルで最強のプロプライエタリモデルは96.5%に達し、主要なオープンウェイトモデルは2.1ポイント、主要なシステムは92.2%に達した。 これらのアグリゲーションは共有された制限を隠蔽する:3つのシステムはすべて、一般的な教育原則において、ある規律内で適用するために教育を必要とする評価よりも高いスコアを得る。 主観評価スコアは4.1-8.8ポイントであり、能力低下に伴い、一般教育に対する欠点は2.6ポイントから4.1ポイントに拡大する。 したがって、卓越した要件は教育内容の知識であり、一般的な教育やモデルスケールではなく、特定の学習者に特定の主題を教える能力である。

関連論文リスト

• OmniEdu: Open Foundation Models for Learning and Teaching [11.288956271736673]
  我々は、K-12学習と教育のための基礎モデルのオープンファミリーであるOmniEduを紹介する。 インストラクションチューニングコーパスは100以上の教育資源と一般的なインストラクションソースを組み合わせている。 69,999のサンプルと15.96Mの教師付き応答トークンが得られ、60,951の教育特例が含まれている。
  論文  参考訳（メタデータ） (2026-09-19T15:47:12Z)
• ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models [71.84650682660373]
  大規模な言語モデルは、家庭教師、教師助手、コンテンツジェネレータとして、教育にますます導入されている。 既存のベンチマークでは、これらの要件を主に分離して評価しているため、統合されたプロファイルとして教育に直面する適合性は評価されていない。 ELBenchは,共通プロトコルの下で同じモデル上での4つの要件(一般能力,安全性,信頼性,基礎教育,高レベル栽培)すべてを評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-08-10T12:46:58Z)
• EduEVAL-DB: A Role-Based Dataset for Pedagogical Risk Evaluation in Educational Explanations [13.185893390841693]
  データセットは、ScienceQAベンチマークのキュレートされたサブセットからの139の質問に対応する844の説明で構成されている。 我々は,5つの相補的リスク次元を運用する,確立された教育基準に沿った教育的リスクを提案する。 我々は、最先端の教育指向モデル(Gemini 2.5 Pro)を軽量なローカルLlama 3.1 8Bモデルと比較した。
  論文  参考訳（メタデータ） (2026-02-17T12:11:49Z)
• Benchmarking the Pedagogical Knowledge of Large Language Models [4.417539128489408]
  本稿では,その教育的知識に基づいて,大規模言語モデルを評価するための新しいデータセットであるThe Pedagogy Benchmarkを紹介する。 これらのベンチマークは、教師のための専門的開発試験から得られた、慎重にキュレートされた質問に基づいて構築されている。 本報告では, 教育的知識に関する質問に対して, 精度が28%から89%の範囲で, 97モデルの結果を報告する。
  論文  参考訳（メタデータ） (2025-06-23T14:49:01Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [82.91830877219822]
  我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。 MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。 閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
  論文  参考訳（メタデータ） (2025-02-26T08:43:47Z)
• AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
  我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。 GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。 GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
  論文  参考訳（メタデータ） (2023-04-13T09:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。