論文の概要: Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions

• arxiv url: http://arxiv.org/abs/2502.16761v1
• Date: Mon, 24 Feb 2025 00:31:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:23.066845
• Title: Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions
• Title（参考訳）: 公共意見の分布予測のための大規模調査データに基づく言語モデル微調整
• Authors: Joseph Suh, Erfan Jahanparast, Suhong Moon, Minwoo Kang, Serina Chang,
• Abstract要約: 大規模言語モデル(LLM)は、調査設計の初期段階において、事前に調査応答を予測する。 本研究では, 調査データの特異な構造特性を利用して, 応答分布を推定するために, 直接微調整LLMを提案する。 本研究では,SubPOPの微調整により,様々なサブポピュレーションにおけるLLM予測と人間の反応の一致が大幅に改善されることを示す。
• 参考スコア（独自算出の注目度）: 4.020002996724124
• License:
• Abstract: Large language models (LLMs) present novel opportunities in public opinion research by predicting survey responses in advance during the early stages of survey design. Prior methods steer LLMs via descriptions of subpopulations as LLMs' input prompt, yet such prompt engineering approaches have struggled to faithfully predict the distribution of survey responses from human subjects. In this work, we propose directly fine-tuning LLMs to predict response distributions by leveraging unique structural characteristics of survey data. To enable fine-tuning, we curate SubPOP, a significantly scaled dataset of 3,362 questions and 70K subpopulation-response pairs from well-established public opinion surveys. We show that fine-tuning on SubPOP greatly improves the match between LLM predictions and human responses across various subpopulations, reducing the LLM-human gap by up to 46% compared to baselines, and achieves strong generalization to unseen surveys and subpopulations. Our findings highlight the potential of survey-based fine-tuning to improve opinion prediction for diverse, real-world subpopulations and therefore enable more efficient survey designs. Our code is available at https://github.com/JosephJeesungSuh/subpop.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、調査設計の初期段階において、事前に調査応答を予測することによって、世論調査において新たな機会を提供する。 従来の手法では、LDMの入力プロンプトとしてサブポピュレーションの記述を通じてLDMを操るが、そのような迅速な工学的アプローチは、被験者からのサーベイ応答の分布を忠実に予測するのに苦労している。 本研究では, 調査データの特異な構造特性を利用して, 応答分布を予測するための微調整LDMを提案する。 微調整を可能にするため,広く確立された世論調査から,3,362の質問と70Kのサブポピュレーション・レスポンス・ペアからなる大規模データセットであるSubPOPをキュレートした。 本研究では, サブPOPの微調整により, 様々なサブポピュレーションにおけるLLM予測と人的反応の一致が大幅に改善され, ベースラインに比べてLLM-人的ギャップが最大46%減少し, 未知のサーベイやサブポピュレーションへの強力な一般化が達成されることを示す。 本研究は,多種多様な実世界のサブポピュレーションに対する意見予測を改善し,より効率的なサーベイデザインを実現するための,サーベイベース微調整の可能性を明らかにするものである。 私たちのコードはhttps://github.com/JosephJeesungSuh/subpopで利用可能です。

関連論文リスト

• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• ChatGPT vs Social Surveys: Probing the Objective and Subjective Human Society [7.281887764378982]
  我々はChatGPT-3.5を用いてサンプリングプロセスをシミュレートし、2020年の米国人口から6つの社会経済特性を生んだ。 我々は、GPTの主観的態度を探るため、所得格差やジェンダーの役割に関する質問に対する回答を分析した。 以上の結果から、性別と年齢の一致は、2020年のアメリカにおける実際の人口と一致しているが、人種や教育団体の分布にミスマッチがあることが判明した。
  論文  参考訳（メタデータ） (2024-09-04T10:33:37Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction [0.0]
  人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。 横断的な調査を繰り返しながらLLMを微調整する新しい手法の枠組みを開発した。 AIが強化した調査の2つの新しい応用として、レトロディクション(すなわち、年レベルの欠落を予測)と、無意識の意見予測(unasked opinion prediction)を紹介した。
  論文  参考訳（メタデータ） (2023-05-16T17:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。