論文の概要: When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses

• arxiv url: http://arxiv.org/abs/2607.26348v1
• Date: Tue, 28 Jul 2026 23:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.498187
• Title: When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses
• Title（参考訳）: LLMシミュレーションによるヒューマンサーベイ応答のクロスドメインベンチマーク
• Abstract要約: 大規模言語モデル(LLMs)は、製品、ポリシー、市場決定をシミュレートした人間の回答に対するスタンドインとして、合成ユーザとしてますます使われています。 この置換が有効なのか、いつ失敗したのかを問うとともに、インテリジェントな合成ユーザシステムの評価フレームワークとしてその答えをパッケージ化する。 2つのファミリーにまたがる4つのモデルと8B-to-frontier機能の範囲で実行される単一のプロトコルは、実際のヒューマンレスポンスデータの2つの独立したドメインに適用される。 すべてのモデルは、ホールドアウトされた人間のデータに適合する非LLMベースラインのスイートに対してベンチマークされる。
• 参考スコア（独自算出の注目度）: 4.327699139300454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as synthetic users, stand-ins for human respondents whose simulated answers feed product, policy, and market decisions. We ask when this substitution is valid and when it fails, and package the answer as an evaluation framework for intelligent synthetic-user systems. A single protocol, run across four models spanning two families and an 8B-to-frontier capability range, is applied to two independent domains of real human-response data: U.S. general social attitudes (General Social Survey) and cross-cultural values (World Values Survey). Every model is benchmarked against a suite of non-LLM baselines fit on held-out human data. Under demographic prompting and the survey-simulation protocols we test, two failures replicate across both domains, all four models, and both families. First, at the individual level no LLM beats even the strongest baseline; on cross-cultural values every model falls well below it, and the gap survives distance-aware and proper scoring. Second, models systematically over-determine demographics, treating identity as far more predictive of attitudes than it is among real people, a distortion present for nearly every question-group combination and robust to a coding-invariant measure. Neither failure is remedied by a larger, more capable model. A decision-impact analysis shows why this matters in practice: on a segment-targeting task the models inflate between-segment gaps two to fourfold, would direct a team to the wrong segment in half of U.S. and most cross-cultural cases, and manufacture segment splits that do not exist in real people. We make the cross-domain benchmark and the evaluation framework available on request, so that teams can determine in advance when synthetic-user evidence is safe for decision support and when it is not.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、製品、ポリシー、市場決定をシミュレートした人間の回答に対するスタンドインとして、合成ユーザとしてますます使われています。 この置換が有効なのか、いつ失敗したのかを問うとともに、インテリジェントな合成ユーザシステムの評価フレームワークとしてその答えをパッケージ化する。 2つの家族にまたがる4つのモデルと8B-to-frontierの能力範囲にまたがる単一のプロトコルは、実際の人間の反応データの独立した2つの領域(米国一般社会調査(General Social Survey)と異文化の価値観(World Values Survey))に適用される。 すべてのモデルは、ホールドアウトされた人間のデータに適合する非LLMベースラインのスイートに対してベンチマークされる。 人口統計のプロンプトとサーベイ・シミュレートのプロトコルの下では、2つの障害が両方のドメイン、すべての4つのモデル、両方のファミリーに複製されます。 まず、個人レベルではLDMが最強のベースラインを破ることはありません。 第二に、モデルが体系的に過度に決定し、アイデンティティを実際の人々よりもはるかに予測的な態度として扱い、ほとんどすべての質問グループの組み合わせに歪みがあり、コーディング不変測度に対して堅牢である。 どちらの失敗も、より大きな、より有能なモデルによって修正されない。 セグメントターゲティングのタスクでは、モデルはセグメント間のギャップを2から4倍にし、米国とほとんどのクロスカルチャーのケースで間違ったセグメントにチームを誘導し、実際の人には存在しないセグメントを製造します。 クロスドメインベンチマークと評価フレームワークをリクエスト時に利用可能にすることで、合成ユーザによるエビデンスが決定サポートに安全で、そうでない場合を事前に判断できるようにします。

関連論文リスト

• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• MANTA: Multi-turn Assessment for Nonhuman Thinking & Alignment [0.1452394725421793]
  MANTAは、Inspect AIプラットフォーム上に構築された動的マルチターン評価フレームワークである。 Clude-sonnet-4-20250514およびopenai/gpt-4oの評価を行った。 また, LLM-as-judge 評価において, 体系的フォーマットバイアスを示す制御された4要素法であるSTYLEJUDGEを提案する。
  論文  参考訳（メタデータ） (2026-04-18T19:51:32Z)
• Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
  我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。 現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。 この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
  論文  参考訳（メタデータ） (2026-04-09T15:26:21Z)
• Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
  VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。 標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。 本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:25:43Z)
• Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework [0.31497178896386996]
  HUMAINEは人間とAIの相互作用を多次元、人口統計学的に把握するフレームワークである。 我々は5つの人間中心次元にわたる28の最先端モデルを評価する。
  論文  参考訳（メタデータ） (2026-02-03T09:51:47Z)
• The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
  FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。 このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
  論文  参考訳（メタデータ） (2025-12-11T16:35:14Z)
• Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) [90.45301024940329]
  言語モデル(LM)は、多様で人間らしい創造的コンテンツを生成するのに苦労することが多い。 Infinity-Chatは26万の多様な実世界のオープンエンドユーザクエリからなる大規模データセットである。 本研究では, LMのモード崩壊について大規模に検討し, 人工Hivemind効果が明らかとなった。
  論文  参考訳（メタデータ） (2025-10-27T03:16:21Z)
• Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble [46.82793004650415]
  大規模言語モデル(LLM)は、様々なタスクにまたがる人間のような応答をエミュレートする可能性を実証している。 本研究では,LLMをエージェントプロキシとして扱う新しいアライメントフレームワークを提案する。 我々は、構造化されたプロンプトエンジニアリング、エントロピーに基づくサンプリング、回帰に基づく選択を用いて、LLMエージェントを代表的行動パターンに向けて操るシステムであるP2Pを紹介する。
  論文  参考訳（メタデータ） (2025-09-14T15:08:45Z)
• MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework [53.82097200295448]
  MF-LLM(Mean-Field LLM)は,まず平均場理論を社会シミュレーションに取り入れる。 MF-LLMは反復過程を通じて個人と人口間の双方向相互作用をモデル化する。 IB-Tuneは、Information Bottleneckの原理にインスパイアされた、新しい微調整手法である。
  論文  参考訳（メタデータ） (2025-04-30T12:41:51Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。