論文の概要: LLMs as survey respondents: Comparison to simple semantic baselines

• arxiv url: http://arxiv.org/abs/2610.29645v1
• Date: Wed, 21 Oct 2026 12:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.249457
• Title: LLMs as survey respondents: Comparison to simple semantic baselines
• Title（参考訳）: 調査回答としてのLLM:単純な意味ベースラインとの比較
• Abstract要約: 大規模言語モデル (LLM) は, 人間の調査回答者のサロゲートとして検討されている。 自動車両や軽量車両に対する姿勢を測定する2つの調査において、3つのLCMがホールドアウト項目に対する応答を予測する方法について検討した。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitudes toward automated or light-electric vehicles, based on varying proportions of known responses. Performance was compared to two baselines, where new responses were derived by maximizing embedding-similarity to a prior response. While LLMs mostly predicted human responses better than baselines, their performance consistently declined with a lower share of known responses, even aligning with the baseline in one survey. Our results show that LLMs' capacities for augmenting replies varied across surveys, and can revert to the same levels as simpler embedding similarity baselines when less data is available.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 人間の調査回答者のサロゲートとして検討されている。 より有望な応用はデータ拡張であり、LLMは部分的な人間のデータから新しい反応を予測する。 しかし、アンケート項目間の意味的類似性は、回答間の相関の既知の源泉である。 したがって、LLMが実際に質問応答ペア間の有意義な関係を推測しているのか、それとも質問間の表面レベルの比較をヒューリスティックとして使うのかは明らかではない。 これを評価するために,3つのLCMが,自走車や軽電車に対する姿勢を測定する2つの調査において,既知の反応の変動率に基づいて,保持項目に対する応答を予測する方法について検討した。 性能を2つの基準線と比較し, 埋込相似性を先行応答に最大化することにより, 新たな応答を導出した。 LLMは基本的には基準よりも人間の反応を予測していたが、その性能は既知の反応のシェアを低くして一貫して低下し、ある調査では基準と整合している。 以上の結果から,LCMの応答増強能力は調査によって異なっており,データが少ない場合の簡易な埋め込み類似性ベースラインと同じレベルに戻すことができることがわかった。

関連論文リスト

• Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level [8.995779634140495]
  韓国のインスタントヌードル購入における非公益消費者選択実験を用いて,2010年調査の再現性を評価した。 我々は、平均レベル、パターン、分布アライメントにおける人間とLLMの反応を比較し、人間のデータのみからの基準ベースラインと比較した。
  論文  参考訳（メタデータ） (2026-06-08T04:22:15Z)
• On the Credibility of Evaluating LLMs using Survey Questions [0.42061757959666934]
  近年,大規模言語モデル(LLM)の価値指向を適応型社会調査を用いて評価している。 本稿では, 正確な設定に依存して, 値配向の類似性を過小評価し, 過度に見積もることの限界を明らかにする。 5か国3ヶ国における世界価値調査(World Value Survey)を用いて、直接対思考の連鎖(direct vs. chain-of-thinkt)と復号戦略(greedy vs. sample)が結果に有意な影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2026-02-03T21:45:43Z)
• LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing [0.0]
  統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。 また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Mirrorの概念についても紹介する。 PLS-SEM分析の結果, LLMはヒトの反応に一致し, LLMはヒトの反応を再現し, LLM-Mirror反応はヒトの反応に密接に従っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T09:39:56Z)
• Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys [1.5727456947901746]
  大規模言語モデル(LLM)が主観的な質問に答えるよう求められたシミュレーションを数百万回実施した。 欧州社会調査(ESS)データと異なるLDM応答の比較は、プロンプトがバイアスや変動性に与える影響が基本であることを示唆している。
  論文  参考訳（メタデータ） (2024-05-29T17:54:22Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。