論文の概要: Imperfectly Imperfect: Evaluating Graded Cognitive Diversity in LLM Persona Simulations
- arxiv url: http://arxiv.org/abs/2611.10508v2
- Date: Wed, 11 Nov 2026 01:43:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.870289
- Title: Imperfectly Imperfect: Evaluating Graded Cognitive Diversity in LLM Persona Simulations
- Title(参考訳): 完全不完全性:LLMペルソナシミュレーションにおける段階的認知多様性の評価
- Abstract要約: 大規模言語モデル(LLM)エージェントは、社会的、行動的、意思決定研究の合成参加者として、ますます利用されている。
シミュレーションされた集団が、推論、自己報告された特徴、それらの関連、下流行動において、人間の変動を再現するかどうかを判定する認知適合性評価を導入する。
- 参考スコア(独自算出の注目度): 0.5833117322405447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents are increasingly used as synthetic participants in social, behavioural, and decision-making research, yet it remains unclear whether they can express graded cognitive diversity as assigned when engaging in simulated behaviour. We introduce a cognition-suite evaluation that tests whether simulated populations reproduce human variation in reasoning, self-reported traits, their associations, and downstream behaviour. Agents conditioned on synthetic or human-derived profiles of cognitive reflection, Need for Cognition, and Big Five personality answer the same suite as a cohort of 473 adults: two newly assembled tests, a Cognitive Reflection Test (CRT) and a Behavioural Reflection Test (BRT) whose decision scenarios measure reflection in behaviour, alongside an established CRT and the two trait questionnaires. Across seven full-battery simulation runs of four models, agents recover Need for Cognition and Big Five trait distributions on self-report questionnaires, but fall short on simulating diversity of cognitive task performance and downstream behaviours. In the four Claude Sonnet 4.6 runs, every agent scores full marks on both CRTs, whatever reflection level its persona was assigned. In the other three runs agents make intuitive-lure errors (the tempting wrong answers CRT items invite), but 49 to 85% score full marks, against under 10% in the human sample. Claude Sonnet 5 comes closest to people's item-by-item pattern of lures; the other two runs give fewer lures and vary less between items. In the BRT scenarios, every run over-produces 8 to 11 of 15 coded behaviours by at least 20 percentage points, and people's links between reflection and behaviour carry over only in part. Useful synthetic populations must preserve not only trait descriptors but the structured variation in reasoning, error type, and behaviour those descriptors are meant to organise.
- Abstract(参考訳): 大規模言語モデル (LLM) エージェントは, 社会的, 行動的, 意思決定的な研究において, ますます合成参加者として利用されている。
シミュレーションされた集団が、推論、自己報告された特徴、関連性、下流行動の人為的変動を再現するかどうかを判定する認知適性評価を導入する。
認知的リフレクション,認知欲求,ビッグファイブの2つのエージェントは,認知的リフレクションテスト (CRT) と行動的リフレクションテスト (BRT) の2つの新たに組み立てられたテストと同一のスイートに回答する。
7つのモデルからなるフルバッテリシミュレーションでは、エージェントが自己報告のアンケートで認知の必要条件と5つの特徴の分布を回復するが、認知タスクのパフォーマンスと下流の振る舞いの多様性をシミュレートするには不十分である。
クロード・ソネット4.6の4回戦では、各エージェントが2つのCRTでフルスコアを獲得し、そのペルソナのリフレクションレベルが割り当てられた。
残りの3つのランニングエージェントは直感的なエラー(CRTアイテムが招待する誘惑の間違った答え)をするが、49~85%のスコアは人間のサンプルの10%以下である。
クロード・ソネット5は、人々のルアーのアイテム・バイ・イテムパターンに最も近い。
BRTのシナリオでは、すべての実行が15のコード化された動作のうち8~11を少なくとも20ポイント上回っており、リフレクションと振る舞いのリンクは部分的にしか受け継がれていない。
有用な合成個体群は、特徴記述子だけでなく、推論、エラータイプ、そしてそれらの記述子が組織化されることを意図した振る舞いの構造化された変化を保たなければならない。
関連論文リスト
- AgentPersonaBench: Benchmarking Persona-Driven User Simulation [41.69582135536117]
AgentPersonaBench (APB) は、ペルソナ条件が下流エージェントの動作を忠実に制御するかどうかを評価するベンチマークである。
APBは867の特徴にまたがる2,460のタスクで構成されており、自動監査と専門家レビューを通じて検証されている。
論文 参考訳(メタデータ) (2026-10-03T08:45:45Z) - On the Behavioral Traits of LLM Agents [31.80051498538864]
行動データ(Bデータ)から特徴量のボトムアップを推定するためのA-B-Dを提案する。
80のモデル、12のタスク、50のハーネスにまたがる実世界の345,667の軌道から、318の候補特徴を抽出した。
例えば、Kim-K3は最も計画的で、GPT-5.5とGPT-5.6は最もエネルギーが少ない。
論文 参考訳(メタデータ) (2026-09-26T16:51:52Z) - A Three-Tier Persona Vector for Controllable User Simulation in Agentic Evaluation [0.9918136378822991]
23の操作次元を持つ3層ペルソナベクトルを提案する。
我々は64,698件の会話で合成データ生成パイプライン内のペルソナモデルを評価する。
論文 参考訳(メタデータ) (2026-09-08T11:28:02Z) - Recognition, Simulation, and Refusal: A Contamination-Aware Study of Classic Psychological Effects in LLM Agents [0.0]
LLMエージェント上での古典心理学実験を再実行するベンチマークであるPsyAgentBenchを紹介する。
41,904のトライアルがリリースされ、最大3つのオープンウェイトモデルファミリーで評価された5つの完成パラダイムのうち、明らかに人間のような効果は質的に異なる経路で生じる。
単文ペルソナの変更(確認可能性、検証された特性操作ではなく命令としてフレーム化)は、その効果によってこれらの効果を排除、減衰、あるいは反転させる。
論文 参考訳(メタデータ) (2026-07-23T10:34:06Z) - Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior [58.538864650160406]
4つの行動タスクと11のフロンティアLSMで実験を行いました。
SR-ビヘイビアコヒーレンスは存在するが選択的である。
これらの結果は、粗いパーソナリティフレームワークがデプロイメントの振る舞いをテストする最良のツールではないことを示唆している。
論文 参考訳(メタデータ) (2026-06-10T22:28:53Z) - HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。
12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。
我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
論文 参考訳(メタデータ) (2026-01-15T08:56:53Z) - Two-Faced Social Agents: Context Collapse in Role-Conditioned Large Language Models [0.0]
GPT-5は完全な数学の文脈崩壊を示し、最適応答に対する特異な同一性を採用した。
クロード・ソネット4.5はSATアイテムに限定的ではあるが測定可能な役割特異的なバリエーションを保持していた。
全てのモデルは、異なる役割条件の感情的嗜好を示し、認知的制約が緩和されたときに社会影響の変動が再燃することを示した。
論文 参考訳(メタデータ) (2025-11-19T16:04:49Z) - The Personality Illusion: Revealing Dissociation Between Self-Reports & Behavior in LLMs [60.15472325639723]
人格特性は、人間の行動の予測因子として長い間研究されてきた。
近年のLarge Language Models (LLM) は, 人工システムに類似したパターンが出現する可能性を示唆している。
論文 参考訳(メタデータ) (2025-09-03T21:27:10Z) - IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization [66.6349183886101]
IROTEは,安定かつ伝達可能な特性抽出のための新しいインコンテキスト手法である。
IROTEが生成する1つの自己反射は、様々な下流タスクにまたがる目標特性の安定な偽造を LLM が引き起こすことを示す。
論文 参考訳(メタデータ) (2025-08-12T08:04:28Z) - Generative Agent Simulations of 1,000 People [56.82159813294894]
本稿では,1,052人の実人の態度と行動をシミュレートする新しいエージェントアーキテクチャを提案する。
生成エージェントは一般社会調査の参加者の回答を85%の精度で再現する。
我々のアーキテクチャは、人種的およびイデオロギー的グループにおける正確さのバイアスを、人口統計学的記述のエージェントと比較して低減する。
論文 参考訳(メタデータ) (2024-11-15T11:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。