論文の概要: EvalConvoLearn: An Open-Source Framework for Evaluating Grounded Learner Simulations in Tutoring Conversations
- arxiv url: http://arxiv.org/abs/2608.07497v1
- Date: Thu, 18 Jun 2026 12:22:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.166548
- Title: EvalConvoLearn: An Open-Source Framework for Evaluating Grounded Learner Simulations in Tutoring Conversations
- Title（参考訳）: EvalConvoLearn: チュータ会話における基礎学習者シミュレーション評価のためのオープンソースフレームワーク
- Abstract要約: 大規模言語モデル(LLM)は、シミュレートされた学習者とよりリッチでより自然な相互作用を可能にする。
EvalConvoLearnはオープンソースのフレームワークで、学習行動と会話品質の2つの軸に沿って学習者のシミュレーションを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational learner simulations are valuable tools for testing learning theories, evaluating instructional materials and automated tutors, or powering teachable agents. Recently, large language models (LLM) have enabled richer, more naturalistic interactions with simulated learners; however, no open framework exists for evaluating whether such simulations faithfully reproduce real learner behavior. We introduce EvalConvoLearn, an open-source framework that assesses learner simulations along two axes: learning behavior (skill-conditioned mastery outcomes) and conversational quality (talk moves, error type distributions, question rate, turn length). EvalConvoLearn measures how closely a simulated learner approximates answer distributions observed in data by grounding metrics in authentic tutoring conversation datasets, and anchoring generated tutor responses in existing tutor utterances. The framework is demonstrated on a dataset of tutoring dialogues, including results for two LLM-based learner simulations, and the published GitHub code.
- Abstract（参考訳）: 会話学習者シミュレーションは、学習理論のテスト、教材の評価、自動教官の評価、教育可能なエージェントのパワーアップに有用なツールである。
近年,大規模言語モデル(LLM)により,シミュレーション学習者とのよりリッチでより自然な対話が可能になったが,そのようなシミュレーションが実学習者の行動を忠実に再現するかどうかを評価するためのオープンな枠組みは存在しない。
EvalConvoLearnは,学習行動(スキル条件付き熟達結果)と会話品質(トークの動き,エラー型分布,質問率,ターン長)の2つの軸に沿って学習者のシミュレーションを評価するオープンソースフレームワークである。
EvalConvoLearnは、実会話データセットのメトリクスを根拠に、既存のチューター発話で生成されたチューター応答をアンロックすることで、データ中の回答分布をシミュレーションされた学習者がいかに正確に近似するかを測定する。
このフレームワークは、2つのLLMベースの学習者シミュレーションの結果と公開されたGitHubコードを含む、学習対話のデータセットで実証されている。
関連論文リスト
- Edu-Theater: A Data-Efficient Agent Framework for Scalable Learner Behavior Simulation through Staging Roll-Call [47.34713494064664]
Edu-Theaterは、階層ごとの詳細な履歴を必要とせずに、スケーラブルな将来の挙動シミュレーションを可能にする。
Edu-Theater は LLM 呼び出しをはるかに少なくして高いシミュレーション精度を実現する。
論文 参考訳（メタデータ） (2026-06-13T09:48:25Z) - Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues [42.74448763964845]
歴史条件付き学生シミュレーションの課題を紹介する。
本研究の目的は,学生の学習履歴の情報を活用することで,生徒の対話を正確に予測することである。
両コンポーネントを強化学習(RL)で訓練し、忠実な学生シミュレーションに最適化されたプロファイルを得る。
論文 参考訳（メタデータ） (2026-05-28T15:02:51Z) - Online Experiential Learning for Language Models [99.90826536842337]
Online Experiential Learning (OEL)は、言語モデルが自身のデプロイメントエクスペリエンスから継続的に改善できるフレームワークである。
OELは、まず、転送可能な経験知識を抽出し、ユーザ側で収集された相互作用軌跡から蓄積する。
テキストベースのゲーム環境において,複数のモデルスケールでOELを評価し,思考と非思考の両バリエーションについて検討した。
論文 参考訳（メタデータ） (2026-03-17T17:57:49Z) - Playpen: An Environment for Exploring Learning Through Conversational Interaction [84.0413820245725]
本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。
本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。
SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
論文 参考訳（メタデータ） (2025-04-11T14:49:33Z) - Classroom Simulacra: Building Contextual Student Generative Agents in Online Education for Learning Behavioral Simulation [10.209326669619273]
N = 60の学生から6週間の教育ワークショップを開催し、カスタマイズされたオンライン教育システムを用いて詳細なデータを収集する。
本稿では,転送可能な反復リフレクション(TIR)モジュールを提案する。
論文 参考訳（メタデータ） (2025-02-04T23:42:52Z) - Can LLMs Reliably Simulate Human Learner Actions? A Simulation Authoring Framework for Open-Ended Learning Environments [1.4999444543328293]
学習者の行動のシミュレーションは、ストレステストのオープンエンドな対話型学習環境を支援し、デプロイ前に新しい適応のプロトタイプを作成する。
我々は,学習者行動に関する検証可能な仮説を組み合わせることで,専門家がシミュレーションを開発し,評価できるシミュレーションオーサリングフレームワークHyp-Mixを提案する。
論文 参考訳（メタデータ） (2024-10-03T00:25:40Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。
まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。
我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
論文 参考訳（メタデータ） (2022-06-22T19:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。