論文の概要: Prompt Perturbations Reveal Human-Like Biases in LLM Survey Responses

• arxiv url: http://arxiv.org/abs/2507.07188v2
• Date: Wed, 16 Jul 2025 18:02:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 11:36:41.075371
• Title: Prompt Perturbations Reveal Human-Like Biases in LLM Survey Responses
• Title（参考訳）: LLMサーベイ応答におけるヒト様ビアーゼのプロンプト摂動
• Authors: Jens Rupprecht, Georg Ahnert, Markus Strohmaier,
• Abstract要約: 大規模言語モデル (LLMs) は、社会科学調査において、人間の被験者のプロキシとしてますます使われている。 本稿では,標準調査文脈におけるLCMの応答ロバスト性について検討する。
• 参考スコア（独自算出の注目度）: 1.7170969275523118
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used as proxies for human subjects in social science surveys, but their reliability and susceptibility to known response biases are poorly understood. This paper investigates the response robustness of LLMs in normative survey contexts - we test nine diverse LLMs on questions from the World Values Survey (WVS), applying a comprehensive set of 11 perturbations to both question phrasing and answer option structure, resulting in over 167,000 simulated interviews. In doing so, we not only reveal LLMs' vulnerabilities to perturbations but also show that all tested models exhibit a consistent recency bias varying in intensity, disproportionately favoring the last-presented answer option. While larger models are generally more robust, all models remain sensitive to semantic variations like paraphrasing and to combined perturbations. By applying a set of perturbations, we reveal that LLMs partially align with survey response biases identified in humans. This underscores the critical importance of prompt design and robustness testing when using LLMs to generate synthetic survey data.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 社会科学調査において, 被験者のプロキシとしてますます利用されているが, 既知の応答バイアスに対する信頼性と感受性はよく分かっていない。 本稿では, 規範的調査文脈におけるLLMの応答堅牢性について検討し, 世界価値調査(WVS)の質問に対して9種類のLCMを検証し, 質問文と回答の選択肢構造の両方に11の摂動を包括的に適用し, 167,000以上の模擬面接を行った。 その際、摂動に対するLSMの脆弱性を明らかにするだけでなく、全ての試験されたモデルが強度によって一貫した回帰バイアスを示し、最後に提示された答えオプションを不当に好んでいることを示す。 より大きなモデルは一般により堅牢であるが、全てのモデルはパラフレージングや複合摂動のような意味的なバリエーションに敏感である。 摂動を施すことにより,LLMは人体で同定された調査応答バイアスと部分的に一致していることが明らかとなった。 このことは、LLMを用いて総合的なサーベイデータを生成する際に、迅速な設計とロバストネステストの重要性を浮き彫りにしている。

関連論文リスト

• Leveraging Interview-Informed LLMs to Model Survey Responses: Comparative Insights from AI-Generated and Human Data [4.774576759157642]
  混合手法の研究は量的および質的なデータを統合するが、それらの異なる構造を整合させる際の課題に直面している。 本研究では,大規模言語モデル(LLM)が人間の調査応答を確実に予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-28T05:57:26Z)
• Reasoning Capabilities and Invariability of Large Language Models [49.23570751696334]
  我々は,大規模言語モデルの推論能力に関する総合的な分析を行うことを目標としている。 我々は、浅い論理的推論を要求する一連の単純な推論質問を含む新しいベンチマークデータセットを導入する。 ゼロショットと少数ショットを含む実証分析では、70億以上のパラメータを持つLDMがゼロショット設定でより優れた性能を発揮する一方で、改善の余地がまだ大きいことが示されている。
  論文  参考訳（メタデータ） (2025-05-01T18:12:30Z)
• Llms, Virtual Users, and Bias: Predicting Any Survey Question Without Human Data [0.0]
  大言語モデル(LLM)を使用して、調査質問に答える仮想人口を作成します。 GPT-4o, GPT-3.5, Claude 3.5-Sonnet, そしてLlama と Mistral モデルの性能を従来のランダムフォレストアルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2025-03-11T16:27:20Z)
• Uncertainty Quantification for LLM-Based Survey Simulations [9.303339416902995]
  本研究では,大規模言語モデル(LLM)を用いて質問に対する人間の反応をシミュレートする。 提案手法は,不完全なLLMシミュレーション応答を集団パラメータの信頼セットに変換する。 重要な革新は、シミュレーションされたレスポンスの最適な数を決定することである。
  論文  参考訳（メタデータ） (2025-02-25T02:07:29Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。