論文の概要: ChatGPT vs Social Surveys: Probing the Objective and Subjective Human Society

• arxiv url: http://arxiv.org/abs/2409.02601v1
• Date: Wed, 4 Sep 2024 10:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-05 19:10:42.897860
• Title: ChatGPT vs Social Surveys: Probing the Objective and Subjective Human Society
• Title（参考訳）: ChatGPT vs. ソーシャルサーベイ
• Authors: Muzhi Zhou, Lu Yu, Xiaomin Geng, Lan Luo,
• Abstract要約: 我々はChatGPT-3.5を用いてサンプリングプロセスをシミュレートし、2020年の米国人口から6つの社会経済特性を生んだ。 我々は、GPTの主観的態度を探るため、所得格差やジェンダーの役割に関する質問に対する回答を分析した。 以上の結果から、性別と年齢の一致は、2020年のアメリカにおける実際の人口と一致しているが、人種や教育団体の分布にミスマッチがあることが判明した。
• 参考スコア（独自算出の注目度）: 7.281887764378982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The extent to which Large Language Models (LLMs) can simulate the data-generating process for social surveys remains unclear. Current research has not thoroughly assessed potential biases in the sociodemographic population represented within the language model's framework. Additionally, the subjective worlds of LLMs often show inconsistencies in how closely their responses match those of groups of human respondents. In this paper, we used ChatGPT-3.5 to simulate the sampling process and generated six socioeconomic characteristics from the 2020 US population. We also analyzed responses to questions about income inequality and gender roles to explore GPT's subjective attitudes. By using repeated random sampling, we created a sampling distribution to identify the parameters of the GPT-generated population and compared these with Census data. Our findings show some alignment in gender and age means with the actual 2020 US population, but we also found mismatches in the distributions of racial and educational groups. Furthermore, there were significant differences between the distribution of GPT's responses and human self-reported attitudes. While the overall point estimates of GPT's income attitudinal responses seem to align with the mean of the population occasionally, their response distributions follow a normal distribution that diverges from human responses. In terms of gender relations, GPT's answers tend to cluster in the most frequently answered category, demonstrating a deterministic pattern. We conclude by emphasizing the distinct design philosophies of LLMs and social surveys: LLMs aim to predict the most suitable answers, while social surveys seek to reveal the heterogeneity among social groups.
• Abstract（参考訳）: 大規模言語モデル(LLM)が社会調査のデータ生成過程をシミュレートできる範囲はいまだ不明である。 現在の研究は、言語モデルの枠組みの中で表現される社会デマトグラフィー人口の潜在的なバイアスを十分に評価していない。 加えて、LLMの主観的世界は、その反応が人間の回答者の群とどのように密接な関係を示すかに矛盾することが多い。 本稿では,ChatGPT-3.5を用いてサンプリングプロセスをシミュレートし,2020年の米国人口から6つの社会経済特性を生んだ。 また、GPTの主観的態度を探るため、所得格差やジェンダーの役割に関する質問に対する回答を分析した。 繰り返しランダムサンプリングを用いて,GPT生成集団のパラメータを同定するサンプリング分布を作成し,Censusデータと比較した。 以上の結果から、性別と年齢の一致は、2020年のアメリカにおける実際の人口と一致しているが、人種や教育団体の分布にミスマッチがあることが判明した。 さらに, GPTの反応の分布と自己報告態度には有意な差が認められた。 GPTの所得統計応答の総点推定は、人口の平均と時折一致しているように見えるが、その反応分布は人間の反応から分岐する正規分布に従う。 ジェンダー関係の観点では、GPTの回答は最も頻繁に答えられるカテゴリーに集まり、決定論的パターンを示す傾向がある。 LLMは最も適切な回答を予測することを目的としており、社会調査は社会集団間の異質性を明らかにすることを目指している。

関連論文リスト

• Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions [4.020002996724124]
  大規模言語モデル(LLM)は、調査設計の初期段階において、事前に調査応答を予測する。 本研究では, 調査データの特異な構造特性を利用して, 応答分布を推定するために, 直接微調整LLMを提案する。 本研究では,SubPOPの微調整により,様々なサブポピュレーションにおけるLLM予測と人間の反応の一致が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2025-02-24T00:31:33Z)
• Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction [5.774786149181393]
  大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。 LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。 政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
  論文  参考訳（メタデータ） (2025-02-22T16:25:33Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Evaluating LLMs for Gender Disparities in Notable Persons [0.40964539027092906]
  本研究では,事実情報の検索にLarge Language Models (LLMs) を用いることを検討した。 事実的不正確な「ハロゲン化」反応を作り出すことや、全く答えることができないことへの懸念に対処する。
  論文  参考訳（メタデータ） (2024-03-14T07:58:27Z)
• Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information [15.435605802794408]
  大規模言語モデルは、人口統計情報に関連する社会的バイアスを示す。 人口サブグループの意見をエミュレートする「ランダムシリコンサンプリング」を提案する。 言語モデルは、実際のアメリカの世論調査と非常によく似た応答分布を生成できる。
  論文  参考訳（メタデータ） (2024-02-28T08:09:14Z)
• Aligning with Whom? Large Language Models Have Gender and Racial Biases in Subjective NLP Tasks [15.015148115215315]
  我々は4つのポピュラーな大言語モデル(LLM)の実験を行い、集団差と潜在的なバイアスを理解する能力について、丁寧さと不快さの予測について検討する。 どちらのタスクでも、モデル予測は白人と女性の参加者のラベルに近いことが分かりました。 より具体的には、"ブラック"と"アジア"個人の観点から反応するよう促された場合、モデルは、対応するグループからのスコアだけでなく、全体的なスコアを予測する際のパフォーマンスを低下させる。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Questioning the Survey Responses of Large Language Models [18.61486375469644]
  我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,言語モデルの調査結果を批判的に調査する。 モデル応答は、バイアスの順序付けとラベル付けによって制御され、体系的バイアスの調整後に持続しないモデル間のバリエーションが生じる。 本研究は, モデルによる調査回答を, 個体群と同等に扱うことの注意を喚起するものである。
  論文  参考訳（メタデータ） (2023-06-13T17:48:27Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Mapping Urban Population Growth from Sentinel-2 MSI and Census Data Using Deep Learning: A Case Study in Kigali, Rwanda [0.19116784879310023]
  我々は,時間的集団動態を短時間で解き放つ深層学習変化検出技術の評価を行った。 Sentinel-2 MSIデータを用いた人口マッピングタスクで事前訓練されたResNetエンコーダを,シームズネットワークに組み込んだ。 このネットワークは人口変化を正確に予測するために国勢調査レベルで訓練された。
  論文  参考訳（メタデータ） (2023-03-15T10:39:31Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• Magnify Your Population: Statistical Downscaling to Augment the Spatial Resolution of Socioeconomic Census Data [48.7576911714538]
  重要社会経済的属性の詳細な推定を導出する新しい統計的ダウンスケーリング手法を提案する。 選択された社会経済変数ごとに、ランダムフォレストモデルが元の国勢調査単位に基づいて訓練され、その後、微細なグリッド化された予測を生成するために使用される。 本研究では,この手法を米国の国勢調査データに適用し,ブロック群レベルで選択された社会経済変数を,300の空間分解能のグリッドにダウンスケールする。
  論文  参考訳（メタデータ） (2020-06-23T16:52:18Z)
• Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
  この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。 我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
  論文  参考訳（メタデータ） (2020-06-13T06:43:37Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)
• Survival Cluster Analysis [93.50540270973927]
  異なるリスクプロファイルを持つサブポピュレーションを特定するために、生存分析には未解決の必要性がある。 このニーズに対処するアプローチは、個々の成果のキャラクタリゼーションを改善する可能性が高い。
  論文  参考訳（メタデータ） (2020-02-29T22:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。