論文の概要: Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction

• arxiv url: http://arxiv.org/abs/2502.16280v1
• Date: Sat, 22 Feb 2025 16:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:19.153696
• Title: Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction
• Title（参考訳）: 大規模言語モデルラテント空間における人間の嗜好:投票結果予測における合成データの信頼性に関する技術的分析
• Authors: Sarah Ball, Simeon Allmendinger, Frauke Kreuter, Niklas Kühl,
• Abstract要約: 大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。 LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。 政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
• 参考スコア（独自算出の注目度）: 5.774786149181393
• License:
• Abstract: Generative AI (GenAI) is increasingly used in survey contexts to simulate human preferences. While many research endeavors evaluate the quality of synthetic GenAI data by comparing model-generated responses to gold-standard survey results, fundamental questions about the validity and reliability of using LLMs as substitutes for human respondents remain. Our study provides a technical analysis of how demographic attributes and prompt variations influence latent opinion mappings in large language models (LLMs) and evaluates their suitability for survey-based predictions. Using 14 different models, we find that LLM-generated data fails to replicate the variance observed in real-world human responses, particularly across demographic subgroups. In the political space, persona-to-party mappings exhibit limited differentiation, resulting in synthetic data that lacks the nuanced distribution of opinions found in survey data. Moreover, we show that prompt sensitivity can significantly alter outputs for some models, further undermining the stability and predictiveness of LLM-based simulations. As a key contribution, we adapt a probe-based methodology that reveals how LLMs encode political affiliations in their latent space, exposing the systematic distortions introduced by these models. Our findings highlight critical limitations in AI-generated survey data, urging caution in its use for public opinion research, social science experimentation, and computational behavioral modeling.
• Abstract（参考訳）: ジェネレーティブAI(GenAI)は、人間の嗜好をシミュレートするために、調査コンテキストでますます使われている。 ゴールド標準サーベイ結果とモデル生成応答を比較して,多くの研究成果が総合的GenAIデータの品質を評価する一方で,LLMを人間の代替品として用いることの妥当性と信頼性に関する根本的な疑問が残る。 本研究は,大規模言語モデル (LLM) における階層的属性と即時変動が潜在世論マッピングにどのように影響するかを技術的に分析し,調査に基づく予測への適合性を評価する。 14種類の異なるモデルを用いて、LLMが生成したデータは、現実世界の人間の反応、特に人口統計学的サブグループで観測された分散を再現できないことがわかった。 政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。 さらに,いくつかのモデルにおいて,迅速な感度が出力を著しく変化させることで,LLMシミュレーションの安定性と予測性を損なうことを示す。 重要なコントリビューションとして、LLMが潜在空間における政治的アフィリエイトをエンコードする方法を明らかにするプローブベースの方法論を適用し、これらのモデルによって導入された体系的歪みを明らかにする。 以上の結果から,AIによる世論調査,社会科学実験,計算行動モデリングに注意を促した。

関連論文リスト

• Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs? [1.7819574476785418]
  本研究では,Large Language Models (LLMs) が人工的なサーベイを生成する可能性について検討する。 合成データ作成にLLMを活用することにより,従来の調査手法の限界に対処することを目指す。 Personas」を取り入れた新しい手法が提案され、他の5つの総合的なサーベイ手法と比較された。
  論文  参考訳（メタデータ） (2025-01-20T15:11:03Z)
• Large Language Models for Market Research: A Data-augmentation Approach [3.3199591445531453]
  大規模言語モデル(LLM)は、複雑な自然言語処理タスクに優れ、人工知能を変革した。 近年の研究では、LLMが生成するデータと人間のデータの間に大きなギャップが見られ、両者を置換する際にバイアスが発生している。 コンジョイント解析において,LLM生成データと実データとを効率的に統合する新しい統計データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T22:06:29Z)
• Agentic Society: Merging skeleton from real world and texture from Large Language Model [4.740886789811429]
  本稿では,人口統計データと大規模言語モデルを利用して仮想人口を生成する新しい枠組みについて検討する。 本手法は,社会科学実験において,多様な人間の行動のシミュレーションに不可欠な多様性のあるペルソナを生産することを示す。 しかし, 評価結果から, 現在のLSMの能力に限界があるため, 統計的真理性の弱い兆候しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T08:28:19Z)
• Chatting Up Attachment: Using LLMs to Predict Adult Bonds [0.0]
  GPT-4とClaude 3 Opusを使用して、さまざまなプロファイル、子供時代の記憶、アタッチメントスタイルを持つ大人をシミュレートするエージェントを作成します。 我々は,同一の面接プロトコルを施行し,精神保健専門家によって分析・ラベル付けされた9人のヒトの転写データセットを用いて,我々のモデルを評価した。 以上の結果から,合成データのみを用いたモデルトレーニングは,人間のデータを用いたモデルトレーニングに匹敵する性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2024-08-31T04:29:19Z)
• Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
  本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。 特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
  論文  参考訳（メタデータ） (2024-03-29T15:58:46Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• Causal Inference via Nonlinear Variable Decorrelation for Healthcare Applications [60.26261850082012]
  線形および非線形共振の両方を扱う可変デコリレーション正規化器を用いた新しい手法を提案する。 我々は、モデル解釈可能性を高めるために、元の特徴に基づくアソシエーションルールマイニングを用いた新しい表現として、アソシエーションルールを採用する。
  論文  参考訳（メタデータ） (2022-09-29T17:44:14Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。