論文の概要: Benchmarking Psychological Dynamics in Generative Agents
- arxiv url: http://arxiv.org/abs/2610.04246v1
- Date: Sat, 03 Oct 2026 03:08:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 12:16:39.387516
- Title: Benchmarking Psychological Dynamics in Generative Agents
- Title（参考訳）: ジェネレーティブエージェントにおける心理的ダイナミクスのベンチマーク
- Abstract要約: 大規模言語モデル(LLM)は、人間の振る舞いをシミュレートし、人間の対象の計算的複製として機能するために、ますます多くデプロイされている。
我々は、進化するイベントのシーケンスを通じて、固定されたアイデンティティを運ぶペルソナという、計算レプリカのための心理測定ベンチマークを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed to simulate human behavior, acting as computational replicas of human subjects. Yet the lived psychological experience of humans is difficult to benchmark, particularly as it unfolds over time. We introduce a psychometric benchmark for computational replicas: personas that carry a fixed identity through an evolving sequence of events. Built entirely from published norms and meta-analytic effects, the benchmark scores two dimensions of psychological realism. The first, internal validity, quantifies whether generated trajectories reproduce the internal structure of repeated human measurement: distributions, the between- versus within-person variance partition, temporal dependence, and range. The second, external validity, quantifies whether replicas recover established trait, state, and indicator relations. Across 36 open-weight and proprietary LLMs from nine developers (1B-671B parameters), most recover the direction of established relations (84.3% mean agreement) and the variance partition (26 of 34), yet the within-person correlation and distributional structure elude recovery. Internal validity is independent of scale and capability: a mid-size open LLM (Gemma-3-27B) strikes the best trade-off between the two dimensions. The benchmark is a precondition for using computational replicas in causal inference across domains (e.g., marketing, healthcare), and identifies within-person grounding as the central challenge ahead.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は、人間の振る舞いをシミュレートし、人間の対象の計算的複製として機能する。
しかし、人間の生きた心理的体験は、特に時間とともに広がるため、ベンチマークするのは難しい。
我々は、進化するイベントのシーケンスを通じて、固定されたアイデンティティを運ぶペルソナという、計算レプリカのための心理測定ベンチマークを導入する。
このベンチマークは、公表された規範とメタ分析効果から作られたもので、心理学的リアリズムの2つの次元をスコア付けしている。
第1の内的妥当性は、生成された軌跡が人間の繰り返し測定の内部構造を再現するかどうかを定量化する:分布、対人的分散分割、時間的依存、および範囲である。
第2の外部妥当性は、レプリカが確立した特性、状態、インジケータ関係を回復するかどうかを定量化する。
9人の開発者(1B-671Bパラメータ)による36個のオープンウェイトおよびプロプライエタリなLCMのうち、ほとんどの場合、確立された関係(84.3%の平均合意)と分散分割(34の26)の方向を回復するが、内部相関と分布構造は回復を妨げている。
内部の妥当性はスケールと能力とは無関係で、中規模のオープンLCM (Gemma-3-27B) は2つの次元の最良のトレードオフを打つ。
このベンチマークは、ドメイン間の因果推論(例えば、マーケティング、ヘルスケア)で計算レプリカを使用するための前提条件であり、これからの課題として、個人内での根拠を特定する。
関連論文リスト
- Self-Emergence Agent Architecture:Behavior-Inertia HMM, Reflexive Metacognition,and Social-Contrastive Self-Modeling [7.511170831919511]
大規模言語モデル(LLM)エージェントは、強力な言語生成能力と問題解決能力を示すが、3つの構造的制約に悩まされる。
既存の生成エージェントシミュレーションはメモリと固定プロンプトに依存しており、行動慣性や内因性自己反射は維持していない。
i) 長期的行動・認知慣性を編集可能な状態遷移行列として符号化する隠れマルコフモデル(HMM)、(ii) 出力がHMMパラメータ自体を更新する反射型言語メタ認知ループ、(iii) の3つのコンポーネントを統合したSEAA(Self-Emergence Agent Architecture)を提案する。
論文 参考訳（メタデータ） (2026-09-15T15:36:10Z) - Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - Do AI Personas Grow? Analyzing and Benchmarking Personality Evolution in LLM Agents After Life Events [34.88005801095875]
パーソナリティ条件付きLLMエージェント(PC-Agents)は、感情的支援、社会シミュレーション、ロールプレイングにますます利用されている。
ビッグファイブの特徴をサイコメトリックアンカーとして用いて,11大生活イベント後の事象誘発人格変化について検討した。
以上の結果から,現在のPC-Agentsは人格動態の平均をシミュレートするが,その形状は似ていないことが示唆された。
論文 参考訳（メタデータ） (2026-08-06T18:25:58Z) - CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。
対話型バイリンガルベンチマークCompanionBenchを紹介する。
実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
論文 参考訳（メタデータ） (2026-08-03T10:44:04Z) - OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。
しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。
OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
論文 参考訳（メタデータ） (2026-06-12T07:31:55Z) - Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。
現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。
この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
論文 参考訳（メタデータ） (2026-04-09T15:26:21Z) - HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳（メタデータ） (2026-01-22T09:27:27Z) - HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。
12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。
我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
論文 参考訳（メタデータ） (2026-01-15T08:56:53Z) - Accuracy Does Not Guarantee Human-Likeness in Monocular Depth Estimators [2.466518228012258]
ディープニューラルネットワーク(DNN)は、物理ベースのベンチマークで超人的精度を達成した。
単眼深度推定は、自律運転やロボット工学のような現実世界のアプリケーションにとって基本的な能力である。
物体認識の研究は、モデル精度と人間のような振る舞いの間の複雑なトレードオフを明らかにしている。
論文 参考訳（メタデータ） (2025-12-09T01:42:00Z) - The Personality Illusion: Revealing Dissociation Between Self-Reports & Behavior in LLMs [60.15472325639723]
人格特性は、人間の行動の予測因子として長い間研究されてきた。
近年のLarge Language Models (LLM) は, 人工システムに類似したパターンが出現する可能性を示唆している。
論文 参考訳（メタデータ） (2025-09-03T21:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。