論文の概要: Understanding Reliability in LLM-based Human Behavior Simulation

• arxiv url: http://arxiv.org/abs/2609.25066v1
• Date: Wed, 16 Sep 2026 10:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.02309
• Title: Understanding Reliability in LLM-based Human Behavior Simulation
• Title（参考訳）: LLMに基づく人間行動シミュレーションにおける信頼性の理解
• Abstract要約: 大規模言語モデル(LLM)は、人間の調査反応と行動反応をシミュレートするためにますます使われている。 LLMに基づく人間行動シミュレーションを3つの構造層に分解するReliMapを提案する。 すべてのモデルがプロファイル条件を伴わずにかなりの分布バイアスを示すことがわかった。
• 参考スコア（独自算出の注目度）: 11.785307940274135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to simulate human survey responses and behavioral reactions, yet unreliable simulations can mislead social science conclusions. However, existing evaluations focus on end-to-end scores, leaving it unclear how different aspects of the simulation process interact to determine reliability. We propose ReliMap, which decomposes LLM-based human behavior simulation into three structured layers and evaluates reliability at both the individual level (R1) and population level (R2) across three configuration dimensions: model capacity, profile completeness, and population coverage. Through experiments across four simulation tasks and eleven LLMs, we find that all models exhibit substantial distributional bias without profile conditioning. Profile conditioning reduces this bias with diminishing returns. Larger models benefit more, and attribute informativeness matters more than quantity. Critically, R1 gains do not reliably transfer to R2--individual and population-level reliability can move in opposite directions. At the population layer, increasing coverage reduces variance but not systematic bias, with R2 stabilizing at around 50-100 individuals. These findings highlight that reliable simulation cannot be achieved by optimizing any single layer in isolation, but requires coordinated improvement across all three.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の調査反応や行動反応をシミュレートするためにますます使われているが、信頼性の低いシミュレーションは社会科学の結論を誤解させる可能性がある。 しかし、既存の評価はエンドツーエンドのスコアに重点を置いており、シミュレーションプロセスの異なる側面がいかにして信頼性を決定するかははっきりしない。 本稿では, LLMに基づく人間行動シミュレーションを3つの構造層に分解し, モデル容量, プロファイル完全性, 人口被覆の3つの構成次元にわたって, 個人レベル (R1) と人口レベル (R2) の両方の信頼性を評価するReliMapを提案する。 4つのシミュレーションタスクと11個のLDMの実験により、全てのモデルがプロファイル条件なしでかなりの分布バイアスを示すことがわかった。 プロファイル条件付けは、リターンの減少によってこのバイアスを減少させる。 より大きなモデルはより多くの利益をもたらし、属性情報性は量よりも重要である。 臨界的に、R1ゲインはR2に確実に移行せず、個体レベルの信頼性は反対方向に移動する。 人口層では、カバレッジの増加はばらつきを減少させるが、体系的な偏見は減少し、R2は50～100人程度で安定する。 これらの結果から, 単一層を独立に最適化することで, 信頼性の高いシミュレーションは達成できないが, 全3層で協調的な改善が必要であることが示唆された。

関連論文リスト

• Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
  主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。 我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
  論文  参考訳（メタデータ） (2026-08-20T06:26:03Z)
• Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
  大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。 スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
  論文  参考訳（メタデータ） (2026-07-02T17:30:38Z)
• Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data [4.855285839440204]
  人間の反応の小さなサンプルが与えられた場合、LLMはより広い人口の統計特性を回復できるだろうか? 我々は, 構造的忠実度, 限界的忠実度, 個人的忠実度という3つの軸に沿って, 回復を分解する。 この結果から, 小型試料の微調整は, 複数形態の忠実度を達成するためのバランスの取れたアプローチであるが, それらの忠実度はサブサンプルによって異なることが示唆され, 複数方向のアライメントを脅かす可能性がある。
  論文  参考訳（メタデータ） (2026-06-27T15:03:23Z)
• Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents [0.4277616907160855]
  我々は、ペルソナ条件のシミュレーションの影響を評価するために、米国のマイクロデータの大規模なデータセットを使用します。 その結果,ペルソナ・プロンプトはサーベイアライメントにおいて明確な総合的改善を得られず,多くの場合,性能が著しく低下することがわかった。 本研究は,現在のペルソナ・シミュレーション・プラクティスの重大な影響を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2026-02-06T15:13:59Z)
• Two-Faced Social Agents: Context Collapse in Role-Conditioned Large Language Models [0.0]
  GPT-5は完全な数学の文脈崩壊を示し、最適応答に対する特異な同一性を採用した。 クロード・ソネット4.5はSATアイテムに限定的ではあるが測定可能な役割特異的なバリエーションを保持していた。 全てのモデルは、異なる役割条件の感情的嗜好を示し、認知的制約が緩和されたときに社会影響の変動が再燃することを示した。
  論文  参考訳（メタデータ） (2025-11-19T16:04:49Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• Uncertainty Quantification for LLM-Based Survey Simulations [9.303339416902995]
  本研究では,大規模言語モデル(LLM)を用いて質問に対する人間の反応をシミュレートする。 提案手法は,不完全なLLMシミュレーション応答を集団パラメータの信頼セットに変換する。 重要な革新は、シミュレーションされたレスポンスの最適な数を決定することである。
  論文  参考訳（メタデータ） (2025-02-25T02:07:29Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [71.04084063541777]
  ランク付けのためのカウンターファクトラーニングはIRコミュニティで広く注目を集めている。 モデルは、ユーザの振る舞いの仮定が正しく、確率推定が正確であるときに理論的に非バイアス化される。 それらの有効性は通常シミュレーションベースの実験を通じて実証的に評価されるが、これは広く利用可能な大規模で実際のクリックログが不足しているためである。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。