論文の概要: United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections

• arxiv url: http://arxiv.org/abs/2409.09045v1
• Date: Thu, 29 Aug 2024 16:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-22 21:42:00.772560
• Title: United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections
• Title（参考訳）: 多様性の統一 : 2024年欧州議会議員選挙の LLM に基づく予測の文脈的分岐
• Authors: Leah von der Heyde, Anna-Carolina Haensch, Alexander Wenz,
• Abstract要約: 大規模言語モデル(LLM)は、社会科学研究に革命をもたらす可能性があると認識されている。 本研究では,LLMに基づく世論の予測が文脈依存バイアスを示す程度について検討した。 我々は2024年の欧州議会選挙における投票行動について、最先端のLDMを用いて予測する。
• 参考スコア（独自算出の注目度）: 45.84205238554709
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are perceived by some as having the potential to revolutionize social science research, considering their training data includes information on human attitudes and behavior. If these attitudes are reflected in LLM output, LLM-generated "synthetic samples" could be used as a viable and efficient alternative to surveys of real humans. However, LLM-synthetic samples might exhibit coverage bias due to training data and fine-tuning processes being unrepresentative of diverse linguistic, social, political, and digital contexts. In this study, we examine to what extent LLM-based predictions of public opinion exhibit context-dependent biases by predicting voting behavior in the 2024 European Parliament elections using a state-of-the-art LLM. We prompt GPT-4-Turbo with anonymized individual-level background information, varying prompt content and language, ask the LLM to predict each person's voting behavior, and compare the weighted aggregates to the real election results. Our findings emphasize the limited applicability of LLM-synthetic samples to public opinion prediction. We show that (1) the LLM-based prediction of future voting behavior largely fails, (2) prediction accuracy is unequally distributed across national and linguistic contexts, and (3) improving LLM predictions requires detailed attitudinal information about individuals for prompting. In investigating the contextual differences of LLM-based predictions of public opinion, our research contributes to the understanding and mitigation of biases and inequalities in the development of LLMs and their applications in computational social science.
• Abstract（参考訳）: 大規模言語モデル(LLM)は社会科学研究に革命をもたらす可能性があると認識されており、そのトレーニングデータには人間の態度や行動に関する情報が含まれている。 もしこれらの姿勢がLLMの出力に反映されているなら、LLMが生成した「合成サンプル」は、実際の人間の調査に有効で効率的な代替品として利用することができる。 しかし、LLM合成サンプルは、訓練データや微調整プロセスが多種多様な言語、社会的、政治的、デジタルの文脈を表わさないため、カバレッジバイアスを示す可能性がある。 本研究では,2024年の欧州議会議員選挙での投票行動を予測することで,世論のLLMに基づく予測が文脈依存性の偏りを示すかを検討した。 我々はGPT-4-Turboに匿名化された個人レベルの背景情報、プロンプト内容と言語の変更、各人の投票行動の予測をLSMに依頼し、重み付けされた集計結果を実際の選挙結果と比較する。 以上の結果から, LLM合成試料の一般世論予測への適用性に限界があることが示唆された。 1) LLMによる将来の投票行動の予測は概ね失敗し, (2) 予測精度は国内および言語的文脈で不平等に分布し, (3) LLMの予測を改善するためには個人に関する詳細な統計情報が必要である。 世論のLLMに基づく予測の文脈的差異を考察し,LLMの発達におけるバイアスや不平等の理解と緩和と,その計算社会科学への応用に寄与する。

関連論文リスト

• Fairness in LLM-Generated Surveys [0.5720786928479238]
  大規模言語モデル(LLM)は、特に社会・政治・経済のパターンをシミュレートするテキスト生成と理解において優れている。 本研究は,チリと米国からの公的調査を分析した結果,LLMが多種多様な個体群でどのように機能するかを検討した。 政治的アイデンティティと人種は予測精度に大きな影響を与え、チリではジェンダー、教育、宗教関係はより顕著な役割を担っている。
  論文  参考訳（メタデータ） (2025-01-25T23:42:20Z)
• Unpacking Political Bias in Large Language Models: Insights Across Topic Polarization [6.253258189994455]
  人間社会における普遍的な現象としての政治的偏見は、大規模言語モデルに移される可能性がある。 政治バイアスは、モデルスケールとリリース日とともに進化し、LLMの地域要因にも影響される。
  論文  参考訳（メタデータ） (2024-12-21T19:42:40Z)
• Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study [23.458234676060716]
  本研究では,大規模言語モデル(LLM)のアルゴリズム的忠実度について検討する。 我々は、人口動態の特徴をペルソナのプロンプトに組み込むことで、ドイツのサブポピュレーションを反映した合成世論を生成するよう、異なるLLMに促す。 以上の結果から,Llama は他の LLM よりも,特にグループ内での意見の多様性が低い場合には,サブポピュレーションの表現に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-17T18:46:32Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• LLM Voting: Human Choices and AI Collective Decision Making [0.0]
  本稿では,大規模言語モデル (LLM) の投票行動,特に GPT-4 と LLaMA-2 について検討する。 投票方法の選択と提示順序がLLM投票結果に影響を及ぼすことがわかった。 さまざまな人格がこれらのバイアスの一部を減らし、人間の選択との整合性を高めることができることがわかった。
  論文  参考訳（メタデータ） (2024-01-31T14:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。