論文の概要: TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors

• arxiv url: http://arxiv.org/abs/2610.30828v1
• Date: Thu, 22 Oct 2026 06:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.26477
• Title: TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors
• Title（参考訳）: TutorCaseBench: 学習者の混在行動を支援するLLMチュータ評価のためのケースグラウンドベンチマーク
• Abstract要約: TutorCaseBenchは、教育、教育心理学、特殊教育の質的なケーススタディにおいて、AI-チューターの評価を基礎にしている。 我々のパイプラインは、文書化された学生のカテゴリをケース固有のシナリオ、家庭教師と学生の対話、情報源の証拠を根拠としたルーブリックに変換する。
• 参考スコア（独自算出の注目度）: 34.17226093832869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly used as AI tutors, yet existing benchmarks overlook the challenging behaviors common among students with learning and behavioral difficulties. We introduce TutorCaseBench, a benchmark that grounds AI-tutor evaluation in qualitative case studies from pedagogy, educational psychology, and special education. Our pipeline converts documented student categories into case-specific scenarios, tutor-student dialogues, and rubrics grounded in source evidence. The benchmark contains 923 dialogues across five challenge types, evaluated through open-ended response generation (1,560 items) and multiple-choice selection (2,537 items). Across 11 state-of-the-art LLMs, even the strongest model satisfies a rubric criterion in only 55.8% of open-ended cases, while models are better at selecting appropriate strategies than generating situated responses. These results reveal a gap between intervention recognition and context-specific adaptation, especially for open-weight models. All data are publicly available at https://github.com/kixlab/TutorCaseBench.
• Abstract（参考訳）: LLMはAI家庭教師としてますます使われているが、既存のベンチマークでは、学習や行動上の困難を抱える学生に共通する困難な行動を見落としている。 本研究では, 教育心理学, 特別教育の質的ケーススタディにおいて, AI-チュータ評価を基礎とするベンチマークであるTutorCaseBenchを紹介する。 我々のパイプラインは、文書化された学生のカテゴリをケース固有のシナリオ、家庭教師と学生の対話、情報源の証拠を根拠としたルーブリックに変換する。 このベンチマークには、5つのチャレンジタイプにわたる923の対話が含まれており、オープンな応答生成(1,560項目)と複数選択(2,537項目)によって評価されている。 最先端の11のLSMでは、最強のモデルでさえ55.8%のオープンエンドケースでルーリックな基準を満たす一方、モデルは位置する応答を生成するよりも適切な戦略を選択するのが優れている。 これらの結果から,特にオープンウェイトモデルにおいて,介入認識と文脈特異的適応のギャップが明らかとなった。 すべてのデータはhttps://github.com/kixlab/TutorCaseBench.comで公開されている。

関連論文リスト

• GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
  GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-30T15:39:39Z)
• CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming [0.48342038441006796]
  大規模な言語モデルは、AI家庭教師としてますます探求されているが、K-12設定にデプロイすることで、プライバシやコスト、プロプライエタリなモデルへの依存に関する懸念が高まる。 小型言語モデル(SLM)は有望な代替手段を提供するが、特定の教育的文脈に対して適切なモデルを選択することは依然として困難である。 我々は,ブロックベースのロボティクス環境であるVEX VRにおいて,CSチューターとして言語モデルを評価するためのベンチマークであるCSTutorBenchを紹介する。
  論文  参考訳（メタデータ） (2026-07-06T19:15:07Z)
• TutorBench: A Benchmark To Assess Tutoring Capabilities Of Large Language Models [10.963195858672627]
  TutorBenchは、大規模言語モデル(LLM)のコアチューリングスキルを厳格に評価するために設計されたデータセットと評価ベンチマークである。 サンプルは、(i)学生の混乱に合わせた適応的な説明を生成すること、(ii)学生の作業に対して実行可能なフィードバックを提供すること、(iii)効果的なヒント生成を通じて活発な学習を促進すること、の3つの一般的な学習課題から抽出される。 我々はTutorBench上で16個のフロンティアLLMを評価し,その性能と挙動を詳細に解析した。
  論文  参考訳（メタデータ） (2025-10-03T01:41:09Z)
• Can LLMs Reliably Simulate Real Students' Abilities in Mathematics and Reading Comprehension? [8.558834738072363]
  大規模言語モデル (LLMs) は、知能学習システム (ITSs) の開発において、代用学生としての利用が増えている。 我々は,4,8,12の数学と読解に関する全国教育進歩評価(NAEP)から,489項目のデータセットを収集した。 本研究では,11種類の多種多様かつ最先端のLLMを実生と同じ能力尺度に位置づけるために,IRTモデルを適用した。
  論文  参考訳（メタデータ） (2025-07-11T00:36:57Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• Who's Who: Large Language Models Meet Knowledge Conflicts in Practice [28.48156432356721]
  我々は、知識衝突状況におけるモデルの振る舞いを調べるためのベンチマークデータセットWhoQAを紹介する。 我々は、同じ名前のエンティティ間で共通の性質を問うことで対立を誘発し、その結果、最大8つの独特な答えが得られた。 実験の結果,WhoQA質問の単純さにもかかわらず,知識の矛盾はRAG設定におけるLLMの性能を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T07:56:45Z)
• Distractor generation for multiple-choice questions with predictive prompting and large language models [21.233186754403093]
  ChatGPTのような大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 本稿では,質問銀行から自動的に回収される質問項目を抽出し,関連する注意散らしを発生させる上でのLLMの誘導戦略を提案する。 その結果,教師に提示した気晴らし器の53%が,即時使用に適した高品質と評価された。
  論文  参考訳（メタデータ） (2023-07-30T23:15:28Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。