論文の概要: Social Bias or Social Desirability? Comparing Factorial Survey Experiments for Humans and Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22409v1
• Date: Wed, 14 Oct 2026 14:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.578977
• Title: Social Bias or Social Desirability? Comparing Factorial Survey Experiments for Humans and Large Language Models
• Title（参考訳）: 社会的バイアスか社会的好ましくないか : 人間と大言語モデルに対する要因的調査実験との比較
• Abstract要約: 要因的調査実験は、社会的に複雑な状況の説明を用いて社会的バイアスなどの判断を導き出す社会科学からのサーベイ手法である。 我々は、英語とドイツ語の4つの因子分析実験に基づいて、人間の社会的偏見と11のLDMを評価した。
• 参考スコア（独自算出の注目度）: 11.990623416879986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factorial survey experiments are a survey method from the social sciences that uses descriptions of socially complex situation (``vignettes'') to elicit judgments such as social bias. They provide two major benefits: (a), they reduce the effect of social desirability inherent in self-reported social biases, and (b), they make it possible to separate the effects of multiple sociodemographic attributes. These aspects are also desiderata for the evaluation of social bias in LLMs, but are often ignored in social bias evaluations. In our study, we evaluate social bias in humans and eleven LLMs on the basis of four different English and German factorial survey experiments. Our results show that the LLMs mirror the human biases only partially and sometimes even invert them. We provide evidence that this is due to a fundamental difference in how humans and LLMs react to socially complex situations. While such vignettes reduce social desirability bias in humans, this is not the case for LLMs, where the alignment-induced tendency towards socially desirable responses carries over directly. We therefore caution against applying bias measurement techniques from the social sciences that were developed for human to measure attitudes and bias in LLMs.
• Abstract（参考訳）: 要因的調査実験は、社会的に複雑な状況("vignettes'')の記述を用いて社会的バイアスなどの判断を導出する社会科学からのサーベイ手法である。 主な利点は2つある。 (a)自己申告された社会的偏見に固有の社会的望ましさの影響を減らし、 b) 複数の社会デマトグラフィー特性の影響を分離することができる。 これらの側面は, LLMにおける社会的偏見評価のデシラタでもあるが, 社会的偏見評価では無視されることが多い。 本研究は、英語とドイツ語の4つの因子分析実験に基づいて、人間の社会的偏見と11のLDMを評価した。 以上の結果から, LLMは人間の偏見を部分的に, 時には逆転させるだけであることがわかった。 これは、人間とLLMが社会的に複雑な状況にどのように反応するかに根本的な違いがあるという証拠を提供する。 このようなウィグレットは、人間の社会的望ましくないバイアスを減少させるが、LLMでは、社会的に望ましい反応に対するアライメントによって引き起こされる傾向が直接的に引き継がれるわけではない。 そこで我々は,LLMの態度やバイアスを測定するために人間のために開発された社会科学からバイアス計測技術を適用することに注意する。

関連論文リスト

• Social Simulations with Large Language Model Risk Utopian Illusion [61.358959720048354]
  社会シミュレーションにおける大規模言語モデルの行動分析のための体系的枠組みを提案する。 本手法は,チャットルーム型会話を通してマルチエージェントインタラクションをシミュレートし,5つの言語的側面にわたって解析する。 以上の結果から,LSMは真の人間の行動を忠実に再現するのではなく,過度に理想化されたバージョンを反映していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-24T06:08:41Z)
• SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
  ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。 結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。 スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
  論文  参考訳（メタデータ） (2025-06-01T08:36:51Z)
• Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
  本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。 我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
  論文  参考訳（メタデータ） (2024-08-08T08:13:25Z)
• Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
  社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。 本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T13:32:09Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。