論文の概要: United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections

• arxiv url: http://arxiv.org/abs/2409.09045v1
• Date: Thu, 29 Aug 2024 16:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-22 21:42:00.772560
• Title: United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections
• Title（参考訳）: 多様性の統一 : 2024年欧州議会議員選挙の LLM に基づく予測の文脈的分岐
• Authors: Leah von der Heyde, Anna-Carolina Haensch, Alexander Wenz,
• Abstract要約: 大規模言語モデル(LLM)は、社会科学研究に革命をもたらす可能性があると認識されている。 本研究では,LLMに基づく世論の予測が文脈依存バイアスを示す程度について検討した。 我々は2024年の欧州議会選挙における投票行動について、最先端のLDMを用いて予測する。
• 参考スコア（独自算出の注目度）: 45.84205238554709
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are perceived by some as having the potential to revolutionize social science research, considering their training data includes information on human attitudes and behavior. If these attitudes are reflected in LLM output, LLM-generated "synthetic samples" could be used as a viable and efficient alternative to surveys of real humans. However, LLM-synthetic samples might exhibit coverage bias due to training data and fine-tuning processes being unrepresentative of diverse linguistic, social, political, and digital contexts. In this study, we examine to what extent LLM-based predictions of public opinion exhibit context-dependent biases by predicting voting behavior in the 2024 European Parliament elections using a state-of-the-art LLM. We prompt GPT-4-Turbo with anonymized individual-level background information, varying prompt content and language, ask the LLM to predict each person's voting behavior, and compare the weighted aggregates to the real election results. Our findings emphasize the limited applicability of LLM-synthetic samples to public opinion prediction. We show that (1) the LLM-based prediction of future voting behavior largely fails, (2) prediction accuracy is unequally distributed across national and linguistic contexts, and (3) improving LLM predictions requires detailed attitudinal information about individuals for prompting. In investigating the contextual differences of LLM-based predictions of public opinion, our research contributes to the understanding and mitigation of biases and inequalities in the development of LLMs and their applications in computational social science.
• Abstract（参考訳）: 大規模言語モデル(LLM)は社会科学研究に革命をもたらす可能性があると認識されており、そのトレーニングデータには人間の態度や行動に関する情報が含まれている。 もしこれらの姿勢がLLMの出力に反映されているなら、LLMが生成した「合成サンプル」は、実際の人間の調査に有効で効率的な代替品として利用することができる。 しかし、LLM合成サンプルは、訓練データや微調整プロセスが多種多様な言語、社会的、政治的、デジタルの文脈を表わさないため、カバレッジバイアスを示す可能性がある。 本研究では,2024年の欧州議会議員選挙での投票行動を予測することで,世論のLLMに基づく予測が文脈依存性の偏りを示すかを検討した。 我々はGPT-4-Turboに匿名化された個人レベルの背景情報、プロンプト内容と言語の変更、各人の投票行動の予測をLSMに依頼し、重み付けされた集計結果を実際の選挙結果と比較する。 以上の結果から, LLM合成試料の一般世論予測への適用性に限界があることが示唆された。 1) LLMによる将来の投票行動の予測は概ね失敗し, (2) 予測精度は国内および言語的文脈で不平等に分布し, (3) LLMの予測を改善するためには個人に関する詳細な統計情報が必要である。 世論のLLMに基づく予測の文脈的差異を考察し,LLMの発達におけるバイアスや不平等の理解と緩和と,その計算社会科学への応用に寄与する。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• LLM Voting: Human Choices and AI Collective Decision Making [0.0]
  本稿では,大規模言語モデル (LLM) の投票行動,特に GPT-4 と LLaMA-2 について検討する。 投票方法の選択と提示順序がLLM投票結果に影響を及ぼすことがわかった。 さまざまな人格がこれらのバイアスの一部を減らし、人間の選択との整合性を高めることができることがわかった。
  論文  参考訳（メタデータ） (2024-01-31T14:52:02Z)
• Can Large Language Models Capture Public Opinion about Global Warming? An Empirical Assessment of Algorithmic Fidelity and Bias [0.0]
  大規模言語モデル(LLM)は、人間の知覚や行動をエミュレートすることで、社会科学研究においてその可能性を実証している。 本研究は,LLMのアルゴリズム的忠実度と偏りを,全国的に代表される2つの気候変動調査を用いて評価する。
  論文  参考訳（メタデータ） (2023-11-01T01:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。