論文の概要: EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners

• arxiv url: http://arxiv.org/abs/2608.03206v1
• Date: Tue, 04 Aug 2026 06:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.063528
• Title: EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners
• Title（参考訳）: EduClaw-Bench: シミュレーション学習者による教育用LLMエージェントの長期ベンチマーク
• Abstract要約: 学習者は1ターンではなく、何日、何週間も改善するからである。 EduClaw-Benchは、エージェントのチューターをシミュレーション学習者と30日間の連続的な関係に配置するベンチマークである。
• 参考スコア（独自算出の注目度）: 1.6405027086146922
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) power educational applications from tutoring to essay scoring, but each is a point solution to a single task, and only recently have these point solutions been integrated into agents operating over a learning management system (LMS). Yet tutoring is long-horizon, since a learner improves over days and weeks rather than in a single turn, and no benchmark evaluates an agent tutor across a sustained relationship. We introduce EduClaw-Bench, a benchmark that places an agent tutor in a continuous 30-day relationship with a simulated learner grounded in knowledge tracing (KT), whose knowledge-concept mastery, from a KT model trained on real-student data, drives its answers and is probed for learning gain across 55 scenarios. Each agent is scored on three primary axes (learning gain, responsiveness, and helpfulness) and two curriculum-design axes (Gagné and Rosenshine), with helpfulness and the curriculum axes judged by a cross-family panel of three LLM judges. Evaluating 10 agent adapters over three base-model tiers yields two findings that single-tier, single-session evaluation cannot reach. First, tutoring quality belongs to the base model and the agent harness together rather than either alone. Second, almost no combination sustains good tutoring over the full horizon. A calibration check ($\text{ECE}=0.049$) and a live-classroom field study confirm that the simulated learner and its measurements track reality. Our work is a step toward trustworthy AI tutors for future education.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、学習からエッセイ評価まで、教育アプリケーションに力を与えるが、それぞれが1つのタスクのポイントソリューションであり、最近になってこれらのポイントソリューションが学習管理システム(LMS)上で動作するエージェントに統合された。 しかし、学習者は1回ではなく何日も何週間も改善し、持続的な関係でエージェント・チューターを評価するベンチマークは存在しない。 EduClaw-Benchは、エージェントのチューターを、知識追跡(KT)に基づくシミュレーション学習者と30日間の連続的な関係に配置するベンチマークである。 各エージェントは3つの一次軸(学習利得、応答性、援助性)と2つのカリキュラム設計軸(GagnéとRosenshine)でスコアされ、補助性と3つのLCM審査員のクロスファミリーパネルで判断されるカリキュラム軸が判定される。 10個のエージェントアダプタを3つのベースモデル層上で評価すると、単層シングルセッション評価が到達できないという2つの知見が得られる。 まず、学習の質はベースモデルに属し、エージェントは単独ではなく一緒に利用する。 第2に、ほぼすべての組み合わせが、完全な水平線上でよい学習を維持することはない。 校正チェック($\text{ECE}=0.049$)と実地授業のフィールドスタディにより、シミュレーション学習者とその測定結果が現実性を追跡することを確認した。 私たちの仕事は、将来の教育のための信頼できるAI家庭教師への一歩です。

関連論文リスト

• Sensi: Learn One Thing at a Time -- Curriculum-Based Test-Time Learning for LLM Game Agents [0.0]
  本稿では、ARC-AGI-3ゲームプレイングチャレンジのためのエージェントアーキテクチャであるSensiを紹介し、構造化されたテスト時間学習を導入する。 Sensi v1は2つのプレイヤーアーキテクチャだけで2つのゲームレベルを解き、Sensi v2はカリキュラム学習を追加し、0レベルを解いた。
  論文  参考訳（メタデータ） (2026-03-18T12:59:26Z)
• IntelliCode: A Multi-Agent LLM Tutoring System with Centralized Learner Modeling [2.0467354053171243]
  我々は,集中型,バージョン付き学習者状態を中心に構築されたマルチエージェントLLMチューリングシステムであるIntelliCodeを紹介する。 StateGraph Orchestratorは、スキルアセスメント、学習者プロファイリング、卒業ヒント、カリキュラムの選択、空間的反復、エンゲージメント監視の6つの専門エージェントをコーディネートする。 このアーキテクチャは、監査可能なマスタリ更新、熟練度対応ヒント、依存性対応のカリキュラム適応、安全性対応のプロンプトを可能にする。
  論文  参考訳（メタデータ） (2025-12-21T10:07:06Z)
• Multi-Agent Evolve: LLM Self-Improve through Co-evolution [53.00458074754831]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める大きな可能性を証明している。 近年のSelf-Play RL法は,ゲームやGoのパラダイムの成功に触発されて,人間に注釈を付けることなくLSM推論能力を向上することを目指している。 数学,推論,一般知識Q&Aなど多種多様な課題の解決において,LLMが自己発展できるフレームワークであるMulti-Agent Evolve(MAE)を提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:58:02Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• TutorBench: A Benchmark To Assess Tutoring Capabilities Of Large Language Models [10.963195858672627]
  TutorBenchは、大規模言語モデル(LLM)のコアチューリングスキルを厳格に評価するために設計されたデータセットと評価ベンチマークである。 サンプルは、(i)学生の混乱に合わせた適応的な説明を生成すること、(ii)学生の作業に対して実行可能なフィードバックを提供すること、(iii)効果的なヒント生成を通じて活発な学習を促進すること、の3つの一般的な学習課題から抽出される。 我々はTutorBench上で16個のフロンティアLLMを評価し,その性能と挙動を詳細に解析した。
  論文  参考訳（メタデータ） (2025-10-03T01:41:09Z)
• Self-Challenging Language Model Agents [98.62637336505242]
  本稿では,エージェントが自ら生成する高品質なタスクについて,エージェントを訓練するためのセルフチェンジフレームワークを提案する。 このフレームワークは、Llama-3.1-8B-Instructの2倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-06-02T14:23:33Z)
• Is your multimodal large language model a good science tutor? [14.505855717011725]
  MLLM(Multimodal large language model)は、科学的推論タスクにおける優れた性能を示す。 本研究では,MLLMを総合的な教育用ルーブリックとシミュレートされた学生モデルを用いて,理科講師として評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-09T20:38:23Z)
• TutorGym: A Testbed for Evaluating AI Agents as Tutors and Students [0.283600654802951]
  TutorGymは、人工知能(AI)エージェントを既存の知的チューリングシステム(ITS)内でテストするための標準インターフェースである。 問題解決の各ステップでは、AIエージェントが教師や学習者として何をするかを尋ねられる。 学生として、エージェントはITS命令から直接学習し、その誤りや学習軌跡を学生データと比較することができる。
  論文  参考訳（メタデータ） (2025-05-02T20:03:21Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
  ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。 ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。 3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-05T15:08:16Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
  本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。 これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。 モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
  論文  参考訳（メタデータ） (2023-04-10T15:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。