論文の概要: Can Large Language Models Capture Public Opinion about Global Warming? An Empirical Assessment of Algorithmic Fidelity and Bias

• arxiv url: http://arxiv.org/abs/2311.00217v2
• Date: Thu, 8 Feb 2024 03:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 18:59:50.258031
• Title: Can Large Language Models Capture Public Opinion about Global Warming? An Empirical Assessment of Algorithmic Fidelity and Bias
• Title（参考訳）: 大規模言語モデルは地球温暖化に関する世論を捉えることができるか? アルゴリズム的忠実性とバイアスの実証評価
• Authors: S. Lee, T. Q. Peng, M. H. Goldberg, S. A. Rosenthal, J. E. Kotcher, E. W. Maibach and A. Leiserowitz
• Abstract要約: 大規模言語モデル(LLM)は、人間の知覚や行動をエミュレートすることで、社会科学研究においてその可能性を実証している。 本研究は,LLMのアルゴリズム的忠実度と偏りを,全国的に代表される2つの気候変動調査を用いて評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) have demonstrated their potential in social science research by emulating human perceptions and behaviors, a concept referred to as algorithmic fidelity. This study assesses the algorithmic fidelity and bias of LLMs by utilizing two nationally representative climate change surveys. The LLMs were conditioned on demographics and/or psychological covariates to simulate survey responses. The findings indicate that LLMs can effectively capture presidential voting behaviors but encounter challenges in accurately representing global warming perspectives when relevant covariates are not included. GPT-4 exhibits improved performance when conditioned on both demographics and covariates. However, disparities emerge in LLM estimations of the views of certain groups, with LLMs tending to underestimate worry about global warming among Black Americans. While highlighting the potential of LLMs to aid social science research, these results underscore the importance of meticulous conditioning, model selection, survey question format, and bias assessment when employing LLMs for survey simulation. Further investigation into prompt engineering and algorithm auditing is essential to harness the power of LLMs while addressing their inherent limitations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の知覚と行動をエミュレートすることで、社会科学研究におけるその可能性を実証している。 本研究は,LLMのアルゴリズム的忠実度と偏りを,全国的に代表される2つの気候変動調査を用いて評価する。 LLMは、調査回答をシミュレートするために、人口統計学および/または心理学的共変量に設定された。 以上の結果から,LLMは大統領投票の行動を効果的に捉えることができるが,関連変数を含まない場合の温暖化の観点を正確に表現する上での課題に直面することが示唆された。 GPT-4は、個体群と共変量の両方で条件付きで性能が向上する。 しかし、特定のグループの見解をLLMで見積もる場合、LLMは黒人の地球温暖化に対する懸念を過小評価する傾向にある。 社会科学研究を支援するLLMの可能性を強調しながら, これらの結果は, 厳密な条件付け, モデル選択, 調査質問形式, 調査シミュレーションにLLMを用いた場合のバイアス評価の重要性を浮き彫りにした。 工学とアルゴリズム監査のさらなる研究は、LLMの能力を活用しながら、その固有の限界に対処するために不可欠である。

関連論文リスト

• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections [45.84205238554709]
  大規模言語モデル(LLM)は、社会科学研究に革命をもたらす可能性があると認識されている。 本研究では,LLMに基づく世論の予測が文脈依存バイアスを示す程度について検討した。 我々は2024年の欧州議会選挙における投票行動について、最先端のLDMを用いて予測する。
  論文  参考訳（メタデータ） (2024-08-29T16:01:06Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
  気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
  論文  参考訳（メタデータ） (2024-05-29T23:11:53Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations [61.9212914612875]
  本研究では,LLMシミュレーションを4次元(コンテキスト,モデル,ペルソナ,トピック)で特徴付けるフレームワークを提案する。 我々は,この枠組みを用いて,オープンエンドLLMシミュレーションのキャラクチュアへの感受性を測定する。 GPT-4では、特定の人口動態(政治的・疎外化グループ)と話題(一般には非論争的)のシミュレーションは、似顔絵に非常に敏感であることが判明した。
  論文  参考訳（メタデータ） (2023-10-17T18:00:25Z)
• Assessing Large Language Models on Climate Information [5.034118180129635]
  本稿では,Large Language Models (LLMs) を評価するための,科学コミュニケーション研究を基盤とした総合的な評価フレームワークを提案する。 本フレームワークは,8次元と30の課題にまたがるLLM世代を詳細に解析し,提示応答と妥当性の両方を強調した。 スケーラブルな監視のための新しいプロトコルを導入し、AIアシストと関連する教育のレーダに依存します。
  論文  参考訳（メタデータ） (2023-10-04T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。