論文の概要: An Analysis of Large Language Models for Simulating User Responses in Surveys

• arxiv url: http://arxiv.org/abs/2512.06874v1
• Date: Sun, 07 Dec 2025 15:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.569761
• Title: An Analysis of Large Language Models for Simulating User Responses in Surveys
• Title（参考訳）: 調査におけるユーザ応答のシミュレーションのための大規模言語モデルの解析
• Authors: Ziyun Yu, Yiru Zhou, Chen Zhao, Hongyi Wen,
• Abstract要約: ユーザ意見をシミュレートするためにLarge Language Modelsを使用することが注目されている。 LLMは、支配的な視点に対する偏見を示すことで知られており、多様な人口統計学的、文化的背景からユーザーを表現する能力に対する懸念を提起している。
• 参考スコア（独自算出の注目度）: 8.614942349812429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using Large Language Models (LLMs) to simulate user opinions has received growing attention. Yet LLMs, especially trained with reinforcement learning from human feedback (RLHF), are known to exhibit biases toward dominant viewpoints, raising concerns about their ability to represent users from diverse demographic and cultural backgrounds. In this work, we examine the extent to which LLMs can simulate human responses to cross-domain survey questions through direct prompting and chain-of-thought prompting. We further propose a claim diversification method CLAIMSIM, which elicits viewpoints from LLM parametric knowledge as contextual input. Experiments on the survey question answering task indicate that, while CLAIMSIM produces more diverse responses, both approaches struggle to accurately simulate users. Further analysis reveals two key limitations: (1) LLMs tend to maintain fixed viewpoints across varying demographic features, and generate single-perspective claims; and (2) when presented with conflicting claims, LLMs struggle to reason over nuanced differences among demographic features, limiting their ability to adapt responses to specific user profiles.
• Abstract（参考訳）: ユーザ意見をシミュレートするためにLLM(Large Language Models)を使用することが注目されている。 しかし、特に人間からのフィードバックからの強化学習(RLHF)で訓練されたLSMは、支配的な視点に偏りを示すことが知られており、多様な人口統計学や文化的背景からユーザーを表現する能力への懸念が高まっている。 本研究では,LLMが直接的プロンプトや連鎖的プロンプトを通じて,ドメイン間質問に対する人間の反応をシミュレートできる範囲について検討する。 さらに,LLMパラメトリック知識を文脈入力として用いたクレーム多様化手法CLAIMSIMを提案する。 調査質問応答タスクの実験では、CLAIMSIMはより多様な応答を生成するが、どちらのアプローチもユーザの正確なシミュレートに苦慮している。 1) LLMは, 人口統計学的特徴によって一定の視点を維持し, 単一パースペクティブなクレームを生成する傾向にあり, (2) 矛盾するクレームを提示すると, 人口統計学的特徴の微妙な違いを推し進めることに苦慮し, 特定のユーザプロファイルに適応する能力を制限する。

関連論文リスト

• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [13.929713456538932]
  本稿では,マルチターンインタビュー文として生成した合成ユーザ"バックストリー"を用いた仮想ペルソナ構築手法を提案する。 本研究の背景には,ヒトの反応分布を忠実に再現した仮想的ペルソナと,グループ内・グループ外バイアスのオリジナルの研究で観察されたものと密に一致した効果の大きさが示されている。
  論文  参考訳（メタデータ） (2025-04-16T00:10:34Z)
• Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy [5.92971970173011]
  本稿では,世論データを合成する大規模言語モデルについて検討する。 応答率の低下や非応答バイアスといった従来の調査手法の課題に対処する。 本稿では,知識注入に基づく役割創出という新しい手法を紹介する。
  論文  参考訳（メタデータ） (2025-03-31T21:21:52Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。