論文の概要: Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion

• arxiv url: http://arxiv.org/abs/2407.08563v1
• Date: Thu, 11 Jul 2024 14:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 17:00:06.440908
• Title: Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion
• Title（参考訳）: Vox Populi, Vox AI? 言語モデルを用いてドイツの世論を推定する
• Authors: Leah von der Heyde, Anna-Carolina Haensch, Alexander Wenz,
• Abstract要約: 我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
• 参考スコア（独自算出の注目度）: 45.84205238554709
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The recent development of large language models (LLMs) has spurred discussions about whether LLM-generated "synthetic samples" could complement or replace traditional surveys, considering their training data potentially reflects attitudes and behaviors prevalent in the population. A number of mostly US-based studies have prompted LLMs to mimic survey respondents, with some of them finding that the responses closely match the survey data. However, several contextual factors related to the relationship between the respective target population and LLM training data might affect the generalizability of such findings. In this study, we investigate the extent to which LLMs can estimate public opinion in Germany, using the example of vote choice. We generate a synthetic sample of personas matching the individual characteristics of the 2017 German Longitudinal Election Study respondents. We ask the LLM GPT-3.5 to predict each respondent's vote choice and compare these predictions to the survey-based estimates on the aggregate and subgroup levels. We find that GPT-3.5 does not predict citizens' vote choice accurately, exhibiting a bias towards the Green and Left parties. While the LLM captures the tendencies of "typical" voter subgroups, such as partisans, it misses the multifaceted factors swaying individual voter choices. By examining the LLM-based prediction of voting behavior in a new context, our study contributes to the growing body of research about the conditions under which LLMs can be leveraged for studying public opinion. The findings point to disparities in opinion representation in LLMs and underscore the limitations in applying them for public opinion estimation.
• Abstract（参考訳）: 大規模言語モデル(LLMs)の最近の開発は、LLMが生成する「合成サンプル」が従来の調査を補完するか、置き換えるのかという議論を刺激している。 米国を拠点とする多くの調査は、LCMが調査の回答者を模倣するきっかけとなり、そのうちのいくつかは、回答が調査データと密接に一致していることを発見した。 しかし,各対象個体群とLLMトレーニングデータとの関係に関連するいくつかの文脈的要因が,これらの知見の一般化に影響を及ぼす可能性がある。 本研究では,投票選択の例を用いて,LLMがドイツにおける世論を推定できる範囲について検討した。 我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に,各回答者の投票選択を予測するよう依頼し,これらの予測を,集計およびサブグループレベルの調査に基づく評価と比較した。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。 LLMは、パルチザンのような「典型的な」有権者サブグループの傾向を捉えているが、個々の有権者選択を妨げている多面的要因を見逃している。 投票行動のLLMに基づく予測を新たな文脈で検討することにより,LLMが公衆の意見研究に活用できる状況に関する研究の展開に寄与する。 その結果, LLMにおける世論表現の相違が指摘され, 世論評価に応用する際の限界を浮き彫りにした。

関連論文リスト

• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• LLM Voting: Human Choices and AI Collective Decision Making [0.0]
  本稿では,大規模言語モデル(LLM)の投票行動,特にGPT-4とLLaMA-2の偏り,人間の投票パターンの整合性について検討する。 投票方法や選択の提示方法がLLM投票行動に影響を及ぼすことがわかった。 さまざまな人格がこれらのバイアスの一部を減らし、人間の選択との整合性を高めることができることがわかった。
  論文  参考訳（メタデータ） (2024-01-31T14:52:02Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Can Large Language Models Capture Public Opinion about Global Warming? An Empirical Assessment of Algorithmic Fidelity and Bias [0.0]
  大規模言語モデル(LLM)は、人間の知覚や行動をエミュレートすることで、社会科学研究においてその可能性を実証している。 本研究は,LLMのアルゴリズム的忠実度と偏りを,全国的に代表される2つの気候変動調査を用いて評価する。
  論文  参考訳（メタデータ） (2023-11-01T01:32:59Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。