論文の概要: Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation

• arxiv url: http://arxiv.org/abs/2609.25010v1
• Date: Mon, 27 Jul 2026 17:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.831352
• Title: Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation
• Title（参考訳）: 合成ペルソナは実聴反応を予測するか : 非ペルソナベースラインがペルソナベースコピーシミュレーションに勝るシミュレート・ツー・リアルスタディ
• Abstract要約: そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Marketers increasingly use large language models (LLMs) as "synthetic personas" to predict how an audience will react to a piece of copy before it ships, encouraged by evidence that profile-conditioned LLMs mimic human samples. But is that prediction actually valid against real behaviour - and does the persona machinery help? We present a sim-to-real validity study using the Upworthy Research Archive - thousands of headline A/B tests on shared real traffic, with measured click-through - as held-out ground truth. We compare a ten-persona panel, grounded in the real audience's demographics, against a no-persona zero-shot baseline that simply asks the model how likely a typical reader is to click. Two findings stand out. First, ground-truth reliability is the binding constraint: most A/B tests have no statistically distinguishable winner, so validity can only be measured on the reliable subset (n = 399). Second, and counter to the persona-simulation premise, persona conditioning degrades predictive validity: the no-persona baseline ranks variants markedly better (Kendall τ = 0.361, a medium effect; top-1 accuracy 49.2%) than the persona panel (τ = 0.084; top-1 34.6%), with non-overlapping confidence intervals. Asking the model directly taps an accurate population-level prior; forcing it to role-play specific personas injects bias and noise. The result replicates across three independent Upworthy splits, holds in direction on a different-domain news dataset, and is robust to seed, prompt phrasing, and model choice - across three Gemini tiers and a different model family (OpenAI gpt-4.1, significant paired gap). The takeaway: for predicting aggregate engagement, a plain LLM ranker beats persona simulation - synthetic personas are not merely a weak predictor, they are worse than not using them. All numbers regenerate from a public, artifact-first replication package.
• Abstract（参考訳）: マーケティング担当者は、大きな言語モデル(LLM)を「合成ペルソナ」として、出荷前に観客がコピーにどう反応するかを予測し、プロファイル条件のLLMが人間のサンプルを模倣する証拠によって奨励されている。 しかし、この予測は実際の行動に対して有効だろうか? そこで我々は,Adworthy Research Archive を用いて,何千ものA/Bヘッドラインテストと,クリックスルーの測定による実トラフィックの共有に関する検証を行い,その妥当性を実証した。 実際の聴衆の人口統計に基づく10対1のパネルと、通常の読者がクリックする確率をモデルに尋ねるゼロショットのベースラインを比較した。 2つの発見がある。 ほとんどのA/Bテストは統計的に区別可能な勝者を持たないので、信頼性のある部分集合(n = 399)でのみ有効性を測定することができる。 第2に、ペルソナ・シミュレートの前提に対して、ペルソナ条件付けは予測妥当性を低下させ、非ペルソナ基準の変種は、ペルソナパネル(τ = 0.084; top-1 34.6%)よりも明らかに優れている(ケンドールτ = 0.361, a medium effect; top-1 accuracy 49.2%)。 モデルに求めると、正確な人口レベルの先行をタップし、特定のペルソナをロールプレイさせるとバイアスとノイズが注入される。 結果は、3つの独立したUpworthy分割を複製し、異なるドメインのニュースデータセットを順に保持し、3つのGeminiティアと異なるモデルファミリ(OpenAI gpt-4.1、有意なペアリングギャップ)にわたるシード、プロンプト、モデル選択に対して堅牢である。 要点は、総合的なエンゲージメントを予測するために、普通のLLMローダがペルソナシミュレーションを破る - 合成ペルソナは単に弱い予測子であるだけでなく、それらを使用しないよりも悪い。 すべての数値は、パブリックなアーティファクトファーストのレプリケーションパッケージから再生されます。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
  既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。 対話型バイリンガルベンチマークCompanionBenchを紹介する。 実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
  論文  参考訳（メタデータ） (2026-08-03T10:44:04Z)
• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans [36.156330303795016]
  この研究では、12万以上のエージェントとペルソナの組み合わせに対して、人のソーシャルメディア反応(嫌い、コメント、共有、反応なし)を予測する精度をベンチマークします。 エージェントは70.7%の精度を達成し、LSMの選択は13ポイントのパフォーマンスを拡大した。 ゼロショットのペルソナプロンプトエージェントの真の予測正当性は、行動的に異なるAIエージェントの群れをソーシャルメディアに簡単に展開することで潜在的な操作を警告する。
  論文  参考訳（メタデータ） (2026-03-31T19:27:59Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。