論文の概要: AI-Augmented Surveys: Leveraging Large Language Models and Surveys for
Opinion Prediction
- arxiv url: http://arxiv.org/abs/2305.09620v2
- Date: Sun, 26 Nov 2023 16:25:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 16:21:09.890907
- Title: AI-Augmented Surveys: Leveraging Large Language Models and Surveys for
Opinion Prediction
- Title(参考訳): AIによる調査:大規模言語モデルの活用とオピニオン予測のための調査
- Authors: Junsol Kim, Byungkyu Lee
- Abstract要約: 人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
本稿では,LLMとソーシャルサーベイを統合して,これまで質問されなかった質問に対する個々の回答を正確に予測する方法を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) that produce human-like responses have begun to
revolutionize research practices in the social sciences. This paper shows how
we can integrate LLMs and social surveys to accurately predict individual
responses to survey questions that were not asked before. We develop a novel
methodological framework to personalize LLMs by considering the meaning of
survey questions derived from their text, the latent beliefs of individuals
inferred from their response patterns, and the temporal contexts across
different survey periods through fine-tuning LLMs with survey data. Using the
General Social Survey from 1972 to 2021, we show that the fine-tuned model
based on Alpaca-7b can predict individual responses to survey questions that
are partially missing as well as entirely missing. The remarkable prediction
capabilities allow us to fill in missing trends with high confidence and
pinpoint when public attitudes changed, such as the rising support for same-sex
marriage. We discuss practical constraints, socio-demographic representation,
and ethical concerns regarding individual autonomy and privacy when using LLMs
for opinion prediction. This study demonstrates that LLMs and surveys can
mutually enhance each other's capabilities: LLMs broaden survey potential,
while surveys improve the alignment of LLMs.
- Abstract(参考訳): 人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
本稿では,LLMとソーシャルサーベイを統合して,これまで質問されなかった質問に対する個々の回答を正確に予測する方法を示す。
本研究は,LLMを個人化するための新たな手法として,テキストから導かれる調査質問の意味,回答パターンから推測される個人の潜在信念,調査データを用いた微調整による調査期間の時間的文脈を考察する。
1972年から2021年までの一般社会調査の結果から,alpaca-7bに基づく微調整モデルでは,部分的欠落と完全欠落に対する個々の回答を予測できることが示された。
また,同性婚への支持が高まるなど,世論の態度が変わった際には,不在の傾向を高い信頼感と要点で埋めることができる。
LLMを意見予測に用いた場合、個人の自律性とプライバシに関する実践的制約、社会デコグラフィー表現、倫理的懸念について論じる。
本研究は,LLMと調査が相互に相互に能力を高めることを示し,LLMは調査可能性を広げ,調査はLLMのアライメントを改善する。
関連論文リスト
- Selective "Selective Prediction": Reducing Unnecessary Abstention in
Vision-Language Reasoning [70.74118923797243]
本稿では、予測精度を低下させることなく、選択的な視覚言語システムの過剰保持を低減するための推論時アルゴリズムReCoVERRを紹介する。
ReCoVERRは,システム精度を低下させることなく,バニラ選択予測よりも,A-OKVQAタスクに対して最大20%の質問に回答できる,BLIP2とInstructBLIPの2つのVLMを実現する。
論文 参考訳(メタデータ) (2024-02-23T21:16:52Z) - Are Large Language Models (LLMs) Good Social Predictors? [36.68104332805214]
本研究では,大規模言語モデル (LLM) が,ショートカットを伴わない一般的な入力機能を与えられた場合,社会的予測において期待通りに機能しないことを示す。
本稿では,実世界の社会学習環境の入力とシミュレートに一般的な特徴を利用する新しい社会予測タスクであるSoc-PRF予測を導入する。
論文 参考訳(メタデータ) (2024-02-20T00:59:22Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Are You Sure? Challenging LLMs Leads to Performance Drops in The
FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。
モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。
我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文 参考訳(メタデータ) (2023-11-14T23:40:22Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - From Values to Opinions: Predicting Human Behaviors and Stances Using
Value-Injected Large Language Models [10.520548925719565]
本稿では,価値注入型大言語モデル(LLM)を用いて意見や行動を予測することを提案する。
VIMの有効性を検証するために,4つのタスクについて一連の実験を行った。
以上の結果から,基本的アプローチよりも価値注入型LCMの方が,意見や行動の予測が優れていることが示唆された。
論文 参考訳(メタデータ) (2023-10-27T02:18:10Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-18T03:34:59Z) - Aligning Language Models to User Opinions [10.953326025836475]
ユーザの意見や人口統計やイデオロギーが相互予測者ではないことが判明した。
ユーザの意見とユーザ人口、イデオロギーの両方をモデル化することで、LCMを整合させる。
人口統計学とイデオロギーを併用したLCMの典型的なアプローチに加えて,個人ユーザからの最も関連性の高い過去の意見を活用すれば,より正確なユーザ意見の予測が可能になることが判明した。
論文 参考訳(メタデータ) (2023-05-24T09:11:11Z) - Predicting Survey Response with Quotation-based Modeling: A Case Study
on Favorability towards the United States [0.0]
そこで我々は,機械学習を用いて探索応答を推定する先駆的手法を提案する。
我々は、さまざまな国籍の個人から引用された膨大なコーパスを活用して、彼らの好意のレベルを抽出する。
自然言語処理技術と機械学習アルゴリズムを組み合わせて,質問応答の予測モデルを構築した。
論文 参考訳(メタデータ) (2023-05-23T14:11:01Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。