論文の概要: Distributional Validity and Calibration of a Korean Synthetic Persona Panel for Digital and AI Service Use: A Secondary-Data Validation Against the Korea Media Panel Survey

• arxiv url: http://arxiv.org/abs/2608.28615v1
• Date: Thu, 23 Jul 2026 15:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.412866
• Title: Distributional Validity and Calibration of a Korean Synthetic Persona Panel for Digital and AI Service Use: A Secondary-Data Validation Against the Korea Media Panel Survey
• Title（参考訳）: デジタル・AIサービス利用のための韓国の合成ペルソナパネルの分布妥当性と校正:韓国メディアパネルに対する二次データ検証
• Abstract要約: 本研究は、ジェミニ3.5フラッシュとEXAONE(比較)に調和した韓国の合成ペルソナパネルの評価である。 1モデル当たりの性別・年齢層別パネルは約8000枚が調査項目に回答し、重み付けされた調査結果と比較された。 エラーはモデル固有のシグネチャ、すなわちアンカーが低い年齢ステレオタイプとアクセプションと一貫性のあるレベルバイアスに追従した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic personas based on large language models (LLMs) are increasingly proposed as substitutes for human survey respondents, yet systematic validation outside English-speaking contexts remains scarce. This secondary-data study evaluates how well a Korean synthetic persona panel (NVIDIA Nemotron-Personas-Korea), conditioned into Gemini 3.5 Flash (primary) and EXAONE (comparison), reproduces digital and AI service-use distributions from the KISDI Korea Media Panel Survey. Sex-and-age-stratified panels of about 8,000 personas per model answered the survey's own items - eight service-use indicators and eight innovativeness and acceptance constructs - and were compared against weighted survey estimates. The overall mean absolute error (MAE; RQ1) was 15-19 percentage points (pp), with binary item-mean correlations of 0.69-0.90. Segment error (RQ2) across five demographic axes was 15-19 pp, with between-group gaps up to 52.4/36.2 pp (Gemini/EXAONE). Errors followed model-specific signatures: an age stereotype with low anchoring (Gemini) versus an acquiescence-consistent level bias (EXAONE). Reference-year analysis was consistent with temporal misalignment driving most generative-AI overestimation, whereas short-form underestimation was framing-sensitive. Holdout calibration on 30% of the real data (RQ3) roughly halved sex-by-age cell MAE (18.9->8.6, 15.9->6.7 pp) - yet direct estimation from the same real subsample was far more accurate (3.6 pp), and the correction did not transfer across time. The calibrated panel retained an advantage only under extremely scarce real data (about 100 responses) and, for one model, for unobserved segments. Persona-narrative conditioning beat demographic-only conditioning, but neither surpassed simple real-data baselines. Synthetic panels are thus not survey substitutes; their value is diagnostic, with operational use confined to settings lacking real data.
• Abstract（参考訳）: 大きな言語モデル(LLM)に基づく合成ペルソナは、人間の調査回答者の代用としてますます提案されているが、英語の文脈以外の体系的な検証は少ない。 このセカンダリデータ研究は、Gemini 3.5 Flash(プライマリ)とEXAONE(プライマリ)にコンディションされた韓国の合成ペルソナパネル(NVIDIA Nemotron-Personas-Korea)が、KISDI Korea Media Panel SurveyからデジタルおよびAIサービス利用分布を再現するかどうかを評価する。 1モデルあたり約8000人のセクシュアル・アンド・エイジのパネルが、調査の項目 – 8つのサービス利用指標と8つの革新性と受け入れ構造 – に回答し、重み付けされた調査結果と比較された。 平均絶対誤差 (MAE; RQ1) は15-19ポイント (pp) であり, 2値平均相関は0.69-0.90。 5つの人口軸にまたがるセグメンション誤差(RQ2)は15-19 ppで、グループ間ギャップは最大52.4/36.2 pp (Gemini/EXAONE)であった。 エラーはモデル特異的なシグネチャ、すなわち、アンカーが低い年齢ステレオタイプ(Gemini)とアクセプションに一貫性のあるレベルバイアス(EXAONE)に追従した。 基準年次分析は時間的不整合と一致し, 生成AI過大評価が最も多いが, 短期的過小評価はフレミングに敏感であった。 実際のデータ(RQ3)の30%のキャリブレーション(RQ3)は、ほぼ半ベットのセックス・バイ・エイジ細胞(MAE)(18.9->8.6, 15.9->6.7 pp)であり、同じ実際のサブサンプルからの直接推定ははるかに正確であり(3.6 pp)、修正は時間とともに伝達されなかった。 キャリブレーションパネルは、非常に少ない実際のデータ(約100の応答)と、1つのモデルでは、観測されていないセグメントに対してのみ優位性を保持した。 ペルソナ・ナララティブ・コンディショニングは人口統計のみのコンディショニングを上回ったが、いずれも単純なデータベースラインを超えなかった。 したがって、合成パネルはサーベイ代替品ではなく、その価値は診断であり、実際のデータを持たない設定に限られる。

関連論文リスト

• Open ultrasound foundation model for robust segmentation and clinical measurement across heterogeneous settings [66.3653308198376]
  SonoCorpusは、24の臨床応用と17の国にまたがる53のパブリックデータセットから、456,963のイメージと1,626,085のエキスパートマスクを統合するオープンリソースである。 SonoBaseは、事前にトレーニングされたインタラクティブセグメンテーション基盤モデルである。
  論文  参考訳（メタデータ） (2026-09-16T15:34:21Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Reference-Distribution Dependence in LLM-Based Synthetic Persona Data: Diagnosis and Post Hoc Adjustment of Demographic Distributions [0.0]
  観測されたエラーのほとんどは、ジェネレータよりも参照の選択に起因していることを示す。 我々は,小規模なサーベイデザインのための補助材料として,合成ペルソナデータを扱うことを推奨する。
  論文  参考訳（メタデータ） (2026-08-24T07:45:48Z)
• Passing Coarse Marginal Checks Can Be Cheap: Persona Mixtures and Imprecise Treatment-Response Estimates in an LLM Persona Panel [0.0]
  戦略ゲームにおける16個の軽量人格条件付きGPT-4.1構成の固定パネルについて検討した。 変化は急激なインデクシングであったが、そのシェアは不確実性の仮定に依存していた。 結果は、1つの固定されたモデル・プロンプトパネルに関係し、人間の置換性を確立しない。
  論文  参考訳（メタデータ） (2026-08-02T04:10:11Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。