論文の概要: How Well Can LLMs Simulate Real Learner Evaluations of Educational Feedback?
- arxiv url: http://arxiv.org/abs/2609.35376v1
- Date: Mon, 28 Sep 2026 15:12:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:01:15.178488
- Title: How Well Can LLMs Simulate Real Learner Evaluations of Educational Feedback?
- Title（参考訳）: LLMは教育フィードバックの本当の学習者評価をいかにうまくシミュレートできるか?
- Abstract要約: 本研究では,大規模言語モデル(LLM)が実学習者の学習環境における主観的評価をいかにうまくシミュレートできるかを検討する。
人格特性や評価例などの学習者固有の情報を用いて,6つのモデルで性能を比較した。
- 参考スコア（独自算出の注目度）: 9.647485180934938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While recent studies have explored human behavior and preference simulation using large language models (LLMs), it remains unclear how well LLMs can simulate subjective evaluations from real learners in educational settings. We investigate this question using real learner evaluation data on feedback for high-school biology questions at both the group and individual levels. We compare performance with and without learner-specific information, such as personality traits and evaluation examples, across six models. Our results show that LLMs still have a limited ability to simulate learner evaluations. Providing learner profiles and examples improves score calibration and individual-level simulation, but more often fails to improve group-level consistency. These findings highlight the need to investigate which learner information and adaptation strategies are effective for learner preference simulation.
- Abstract（参考訳）: 近年,大規模言語モデル (LLM) を用いた人間の行動や嗜好のシミュレーションが研究されているが,LLMが実際の学習者からの主観的評価をどの程度うまくシミュレートできるかは定かではない。
本研究は,高校生のフィードバックに基づく実学習者評価データを用いて,グループレベルでも個人レベルでも検討する。
人格特性や評価例などの学習者固有の情報を用いて,6つのモデルで性能を比較した。
この結果から,LLMは学習者評価をシミュレートする能力に限界があることが示唆された。
学習者のプロファイルとサンプルを提供することで、スコアキャリブレーションと個別レベルのシミュレーションが改善されるが、グループレベルの一貫性が向上しないことが多い。
これらの知見は,学習者の嗜好シミュレーションにどの学習者情報と適応戦略が有効かを調べる必要性を浮き彫りにした。
関連論文リスト
- Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations [36.23612429926861]
実世界の学生を対象とした数学質問の難易度を評価するため,オープンソースの大規模言語モデル(LLM)の予測値について検討した。
我々は,4年生,8年生,12年生の「教室」をシミュレートし,LLMを様々な習熟度を持つロールプレイングの学生に促す。
我々は,4級,8級,12級の相関関係を0.75,0.76,0.82まで観測した。
論文 参考訳（メタデータ） (2026-01-15T00:25:01Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳（メタデータ） (2025-10-20T13:14:38Z) - How Far Can LLMs Improve from Experience? Measuring Test-Time Learning Ability in LLMs with Human Comparison [18.55932151761813]
我々は、テスト時間における経験に基づく、推論集約的なタスクのパフォーマンス向上能力であるテストタイム学習の評価を提唱する。
モデル性能を限定的および累積的な経験条件下で比較し、4種類の経験表現を含む客観的評価フレームワークを提案する。
以上の結果から,LSMは測定可能なテスト時間学習能力を示すが,累積的な経験下では改善は安定せず,人間よりも進行が遅いことが示唆された。
論文 参考訳（メタデータ） (2025-06-17T12:13:56Z) - Do LLMs Give Psychometrically Plausible Responses in Educational Assessments? [24.31027563947265]
テスト受験者が教育評価の項目にどう答えるかを知ることは、テスト開発に不可欠である。
大型言語モデル(LLM)がテスト項目に対する人間的な反応を示す場合、テスト開発を加速するためにパイロット参加者として使用する可能性が開ける可能性がある。
論文 参考訳（メタデータ） (2025-06-11T14:41:10Z) - If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。
我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文 参考訳（メタデータ） (2025-03-30T16:50:57Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳（メタデータ） (2023-12-28T16:51:11Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。