論文の概要: Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

• arxiv url: http://arxiv.org/abs/2608.08852v1
• Date: Sun, 09 Aug 2026 18:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.969006
• Title: Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Title（参考訳）: 初の指導モンスターチャレンジの発見:AIエージェントにおける教育内容知識のベンチマーク
• Abstract要約: 我々は,学習者のペルソナを明示的な評価基準として扱う最初のベンチマークである「教示モンスターチャレンジ」を紹介した。 各システムはトピックと学習者ペルソナが与えられ、完全な指導ビデオを生成する必要がある。 第1版では、今日のシステムがコンテンツをうまく扱っているが、それを提示し、学習者に適応させることがはるかに弱いことを示している。
• 参考スコア（独自算出の注目度）: 44.34694986831138
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: AI agents can now solve problems, answer like subject experts, and generate long-form multimodal content. However, whether they can adapt a lesson to fit a specified learner, which education calls Pedagogical Content Knowledge (PCK), has not been benchmarked. To measure it, we introduce the Teaching Monster Challenge, the first instructional video generation benchmark to treat the learner persona as an explicit evaluation criterion. Each system is given a topic and a learner persona and must generate a complete instructional video. Every video is screened by an LLM-judge, ranked by crowd pairwise voting, and finalized by an expert panel. The first edition shows that today's systems handle the content well but are far weaker at presenting it and adapting it to the learner. The same process exposes a limit of automatic judging. The LLM-judge separates a clear low-performing tail but ranks the strongest systems poorly. The strongest systems receive nearly identical scores from the judge, so its ranking of them does not match human preference. Progress therefore requires not only better teaching systems but also better automatic judges, and we release the benchmark, rubric, and human judgments as a testbed for both.
• Abstract（参考訳）: AIエージェントは、課題を解決し、課題の専門家のように答え、長い形式のマルチモーダルコンテンツを生成することができる。 しかし、教育機関がPedagogical Content Knowledge (PCK)と呼ぶ特定の学習者に適した授業を適用できるかどうかは、まだベンチマークされていない。 そこで本研究では,学習者のペルソナを明示的な評価基準として扱うための,最初の指導ビデオ生成ベンチマークである「教示モンスターチャレンジ」を紹介した。 各システムはトピックと学習者ペルソナが与えられ、完全な指導ビデオを生成する必要がある。 すべてのビデオはLLM-judgeによってスクリーニングされ、相互投票によってランク付けされ、専門家パネルによって最終化される。 第1版では、今日のシステムがコンテンツをうまく扱っているが、それを提示し、学習者に適応させることがはるかに弱いことを示している。 同じプロセスは自動判断の限界を露呈する。 LLM-judge は明らかに低い性能の尾を分離するが、最強のシステムには劣る。 最強のシステムは審査員からほぼ同じスコアを受け取っているため、そのランクは人間の好みと一致しない。 したがって、プログレッシブは、より良い教育システムだけでなく、より良い自動判断器も必要としており、ベンチマーク、ルーリック、人的判断を両方のテストベッドとしてリリースする。

関連論文リスト

• EduPanel: A Three-Agent LLM Judge for Teaching Videos -- Reliability, Complementarity, and Human Trust Calibration [49.59690207400984]
  EduPanel(エドゥパネル)は、特殊なエージェント間で評価を分解するルーリックグラウンドの学習者条件付きLLM審査員である。 信頼性は、専門家の研究、アーキテクチャの実践、学習者・人格分析の中央値に匹敵する。 これらの結果から,EduPanelは人的専門家の代替ではなく,教育評価のための効果的なアシスタントとして機能することが示唆された。
  論文  参考訳（メタデータ） (2026-07-20T21:45:00Z)
• The Metanym Game: A Self-Contained, Self-Consistent LLM Peer-Community Benchmark for Structural Intelligence [0.0]
  メタネムゲーム(メタネムゲーム、メタネムゲーム、英: metanym game)は、認知科学の確立した構成要素に対する構造的知性を測定するLLMのワードゲームである。 競技者は、新しい種類の類推テスト、類推可能な文を文単位で作成する。 カウンシル・オブ・ピアスのベンチマークでは、競技者はお互いの創造物を評価する。
  論文  参考訳（メタデータ） (2026-06-19T00:43:29Z)
• Do Large Language Models Mentalize When They Teach? [15.991054959432269]
  我々は、シミュレーション教師として様々なLSMを実行し、試行錯誤の選択を人間と同じ認知モデルに適合させる。 ほとんどのLSMは良好に動作し、試行よりも戦略がほとんど変化せず、グラフ・バイ・グラフの性能は人間のものと類似している。
  論文  参考訳（メタデータ） (2026-04-02T04:04:20Z)
• Scaling Equitable Reflection Assessment in Education via Large Language Models and Role-Based Feedback Agents [2.825140278227664]
  形式的フィードバックは、学生学習の最も効果的な要因の1つである。 大規模または低リソースのコースでは、インストラクターは学生のリフレクションのレビューや応答に必要な時間、スタッフ、帯域幅を欠いていることが多い。 本稿では,5つの協調型ロールベースLLMエージェントを用いて学習者の反射をスコアリングする理論基底システムを提案する。
  論文  参考訳（メタデータ） (2025-11-14T09:46:21Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JuStRank: Benchmarking LLM Judges for System Ranking [7.507819077549208]
  我々はLLM審査員をシステムランクラーとして大規模に調査した。 システムスコアは、複数のシステム出力に対して判定スコアを集約することで生成される。 我々の分析は、判断力や偏見を含む判断行動のきめ細かい特徴を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:51:13Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Thinking LLMs: General Instruction Following with Thought Generation [56.30755438254918]
  本稿では,人体データの追加を使わずに,そのような思考能力を持つ既存LLMの訓練方法を提案する。 各命令に対して、思考候補は判断モデルを用いて応答のみを評価し、好みの最適化によって最適化される。 この手法がAlpacaEvalやArena-Hardに優れたパフォーマンスをもたらすことを示すとともに,マーケティング,健康,一般知識といった非合理的なカテゴリーの考え方から得られる利益を示す。
  論文  参考訳（メタデータ） (2024-10-14T15:38:56Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• How Severe is Benchmark-Sensitivity in Video Self-Supervised Learning? [19.920980847895233]
  我々は、現在使用されているベンチマーク基準に対して、ビデオ自己教師型学習がどれほど敏感であるかを調査する。 500以上の実験を総合的に比較したところ、ビデオ自己教師型学習における現在のベンチマークは、一般化のよい指標ではないことが判明した。
  論文  参考訳（メタデータ） (2022-03-27T06:32:55Z)
• Learning by Cheating [72.9701333689606]
  この難解な学習問題を2段階に分解することで単純化できることを示す。 提案手法を用いて、視覚に基づく自律運転システムの訓練を行い、芸術の状況を大幅に上回っている。 提案手法は,従来のCARLAベンチマークのすべてのタスクにおける100%の成功率を初めて達成し,NoCrashベンチマークに新しい記録を樹立し,従来の技術と比較すると,屈折率を桁違いに低減する。
  論文  参考訳（メタデータ） (2019-12-27T18:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。