論文の概要: Leveraging Interview-Informed LLMs to Model Survey Responses: Comparative Insights from AI-Generated and Human Data

• arxiv url: http://arxiv.org/abs/2505.21997v1
• Date: Wed, 28 May 2025 05:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.432124
• Title: Leveraging Interview-Informed LLMs to Model Survey Responses: Comparative Insights from AI-Generated and Human Data
• Title（参考訳）: インタビューインフォームドLLMをモデルサーベイ応答に活用する:AI生成データと人的データの比較
• Authors: Jihong Zhang, Xinya Liang, Anqi Deng, Nicole Bonge, Lin Tan, Ling Zhang, Nicole Zarrett,
• Abstract要約: 混合手法の研究は量的および質的なデータを統合するが、それらの異なる構造を整合させる際の課題に直面している。 本研究では,大規模言語モデル(LLM)が人間の調査応答を確実に予測できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 4.774576759157642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed methods research integrates quantitative and qualitative data but faces challenges in aligning their distinct structures, particularly in examining measurement characteristics and individual response patterns. Advances in large language models (LLMs) offer promising solutions by generating synthetic survey responses informed by qualitative data. This study investigates whether LLMs, guided by personal interviews, can reliably predict human survey responses, using the Behavioral Regulations in Exercise Questionnaire (BREQ) and interviews from after-school program staff as a case study. Results indicate that LLMs capture overall response patterns but exhibit lower variability than humans. Incorporating interview data improves response diversity for some models (e.g., Claude, GPT), while well-crafted prompts and low-temperature settings enhance alignment between LLM and human responses. Demographic information had less impact than interview content on alignment accuracy. These findings underscore the potential of interview-informed LLMs to bridge qualitative and quantitative methodologies while revealing limitations in response variability, emotional interpretation, and psychometric fidelity. Future research should refine prompt design, explore bias mitigation, and optimize model settings to enhance the validity of LLM-generated survey data in social science research.
• Abstract（参考訳）: 混合手法の研究は定量データと定性的データを統合するが、それらの異なる構造、特に測定特性と個々の応答パターンを調べる際には困難に直面している。 大規模言語モデル(LLM)の進歩は、定性的データから得られる総合的なサーベイ応答を生成することによって、有望なソリューションを提供する。 本研究では,個人インタビューによって指導されたLCMが,BREQ(Behavimental Regulations in Exercise Questionnaire)とアフタースクールプログラムスタッフのインタビューを事例として,人間の調査回答を確実に予測できるかどうかを検討する。 以上の結果から,LSMは全体の反応パターンを捉えるが,ヒトよりも変動性が低いことが示唆された。 インタビューデータを組み込むことで、いくつかのモデル(例えば、クロード、GPT)の応答の多様性が向上する一方、良好なプロンプトと低温設定により、LDMと人間の反応のアライメントが向上する。 デモグラフィック情報は、インタビュー内容がアライメント精度に与える影響よりも少なかった。 これらの知見は, 質的, 定量的方法論を橋渡しし, 応答の多様性, 感情的解釈, 心理メトリックの忠実さの限界を明らかにした。 今後の研究は、社会科学研究におけるLCM生成サーベイデータの妥当性を高めるため、迅速な設計、バイアス緩和の探求、モデル設定の最適化を行う。

関連論文リスト

• Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization [80.09112808413133]
  Mujicaは、質問をサブクエストの非循環グラフに分解するプランナーであり、検索と推論を通じて質問を解決するワーカーである。 MyGOは、従来のポリシー更新を勾配的いいねりの最大推定に置き換える、新しい強化学習手法である。 複数のデータセットにまたがる実験結果から,マルチホップQA性能向上における MujicaMyGO の有効性が示された。
  論文  参考訳（メタデータ） (2025-05-20T18:33:03Z)
• Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction [5.774786149181393]
  大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。 LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。 政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
  論文  参考訳（メタデータ） (2025-02-22T16:25:33Z)
• LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing [0.0]
  統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。 また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Mirrorの概念についても紹介する。 PLS-SEM分析の結果, LLMはヒトの反応に一致し, LLMはヒトの反応を再現し, LLM-Mirror反応はヒトの反応に密接に従っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T09:39:56Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• 'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants [13.693069737188859]
  生産モデルに関する最近の興奮は、研究開発における人間の参加と労働の置き換えを示唆する提案の波を引き起こしている。 我々は,このパラダイムシフトの視点を理解するために,19人の定性的な研究者にインタビューを行った。
  論文  参考訳（メタデータ） (2024-09-28T18:28:47Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。