論文の概要: "Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
- arxiv url: http://arxiv.org/abs/2608.30033v1
- Date: Sun, 30 Aug 2026 20:44:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.160255
- Title: "Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
- Title(参考訳): 小学校5年生の「Act Like a 5th Grader」は、LLMをベースとしたユーザシミュレータにおける知識のバウンディング
- Abstract要約: 大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために使われることが多いが、現実的な認知的制約を示すのに失敗することが多い。
標準的なペルソナは、ほぼ完璧で決定論的性能を示し、発展途上の読者の自然な分散を捉えていない。
我々は,若手読者の限られたワーキングメモリを明示的にモデル化するアーキテクチャフレームワークであるCognitively bounded User Simulator (CBUS)を紹介する。
- 参考スコア(独自算出の注目度): 15.029309551125962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to simulate human behavior but frequently fail to exhibit realistic cognitive constraints, suffering from a "superhuman bias." Using a dataset of over 71,000 reading comprehension responses from 2,359 primary-school students (grades 4--6), we demonstrate that standard persona prompting yields near-perfect, deterministic performance, failing to capture the natural variance of developing readers. To address this, we introduce the Cognitively Bounded User Simulator (CBUS), an architectural framework that explicitly models the restricted working memory of young readers through an episodic bottleneck. Within this framework, we formalize two distinct test-taking strategies to emulate different reading behaviors. Our evaluation shows that explicitly modeling cognitive bounds significantly narrows the simulation gap across multiple LLM backbones, demonstrating that enforcing architectural constraints is more effective for high-fidelity simulation than simply scaling raw model capabilities.
- Abstract(参考訳): 大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために使われることが多いが、しばしば「超人的偏見」に苦しむ現実的な認知的制約を示すのに失敗する。
2,359人の小学校学生(4~6年生)の71,000人以上の読解反応のデータセットを用いて、標準的ペルソナがほぼ完璧で決定論的性能を示し、発達途上の読者の自然な分散を捉えないことを示した。
これを解決するために,認知境界ユーザシミュレータ (CBUS) を導入する。これは,若い読者の限られたワーキングメモリを,エピソジックなボトルネックを通じて明示的にモデル化するアーキテクチャフレームワークである。
本フレームワークでは,異なる読み出し動作をエミュレートする2つの異なるテストテイク戦略を定式化する。
我々の評価は, 認知境界を明示的にモデル化することで, 複数のLCMバックボーン間のシミュレーションギャップを著しく狭め, アーキテクチャ制約を適用すれば, 生モデル能力のスケーリングよりも高忠実度シミュレーションに有効であることを示す。
関連論文リスト
- Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。
スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
論文 参考訳(メタデータ) (2026-07-02T17:30:38Z) - OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。
しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。
OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
論文 参考訳(メタデータ) (2026-06-12T07:31:55Z) - Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。
現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。
この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
論文 参考訳(メタデータ) (2026-04-09T15:26:21Z) - BEAGLE: Behavior-Enforced Agent for Grounded Learner Emulation [16.147318846582298]
オープンエンドの問題解決環境における学生の学習行動のシミュレーションは、教育研究の可能性を秘めている。
しかし、プライバシー上の懸念や縦断的研究のコストが高いため、真正データ収集は困難である。
本稿では、自己制御学習(SRL)理論を新しいアーキテクチャに組み込むことにより、このバイアスに対処する神経象徴的フレームワークBEAGLEを提案する。
論文 参考訳(メタデータ) (2026-02-06T08:05:15Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳(メタデータ) (2025-10-20T13:14:38Z) - Embracing Imperfection: Simulating Students with Diverse Cognitive Levels Using LLM-based Agents [36.704574105201864]
大規模言語モデル(LLM)は教育に革命をもたらしており、LLMベースのエージェントは学生の振る舞いをシミュレートする上で重要な役割を果たしている。
学生シミュレーションにおける大きな課題は、様々な認知レベルにおける学生の多様な学習パターンをモデル化することである。
論文 参考訳(メタデータ) (2025-05-26T13:48:49Z) - If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。
我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文 参考訳(メタデータ) (2025-03-30T16:50:57Z) - Classroom Simulacra: Building Contextual Student Generative Agents in Online Education for Learning Behavioral Simulation [10.209326669619273]
N = 60の学生から6週間の教育ワークショップを開催し、カスタマイズされたオンライン教育システムを用いて詳細なデータを収集する。
本稿では,転送可能な反復リフレクション(TIR)モジュールを提案する。
論文 参考訳(メタデータ) (2025-02-04T23:42:52Z) - EduAgent: Generative Student Agents in Learning [15.215078619481732]
オンライン教育における学生シミュレーションは,様々な背景を持つ学生の動的学習行動に対処するために重要である。
ディープラーニングに基づく既存のシミュレーションモデルでは、教育的文脈における事前知識が欠如しているため、大規模なトレーニングデータが必要である。
本研究は,認知的事前知識を取り入れた新しい生成エージェントフレームワークであるEduAgentを提案する。
論文 参考訳(メタデータ) (2024-03-23T18:19:17Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳(メタデータ) (2023-06-05T02:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。