論文の概要: AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction
- arxiv url: http://arxiv.org/abs/2305.09620v3
- Date: Sun, 7 Apr 2024 02:10:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 05:27:02.484535
- Title: AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction
- Title(参考訳): AIによる調査:大規模言語モデルの活用とオピニオン予測のための調査
- Authors: Junsol Kim, Byungkyu Lee,
- Abstract要約: 人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
横断的な調査を繰り返しながらLLMを微調整する新しい手法の枠組みを開発した。
AIが強化した調査の2つの新しい応用として、レトロディクション(すなわち、年レベルの欠落を予測)と、無意識の意見予測(unasked opinion prediction)を紹介した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) that produce human-like responses have begun to revolutionize research practices in the social sciences. We develop a novel methodological framework that fine-tunes LLMs with repeated cross-sectional surveys to incorporate the meaning of survey questions, individual beliefs, and temporal contexts for opinion prediction. We introduce two new emerging applications of the AI-augmented survey: retrodiction (i.e., predict year-level missing responses) and unasked opinion prediction (i.e., predict entirely missing responses). Among 3,110 binarized opinions from 68,846 Americans in the General Social Survey from 1972 to 2021, our models based on Alpaca-7b excel in retrodiction (AUC = 0.86 for personal opinion prediction, $\rho$ = 0.98 for public opinion prediction). These remarkable prediction capabilities allow us to fill in missing trends with high confidence and pinpoint when public attitudes changed, such as the rising support for same-sex marriage. On the other hand, our fine-tuned Alpaca-7b models show modest success in unasked opinion prediction (AUC = 0.73, $\rho$ = 0.67). We discuss practical constraints and ethical concerns regarding individual autonomy and privacy when using LLMs for opinion prediction. Our study demonstrates that LLMs and surveys can mutually enhance each other's capabilities: LLMs can broaden survey potential, while surveys can improve the alignment of LLMs.
- Abstract(参考訳): 人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。
本研究では,調査質問の意味,個人的信念,時間的文脈を取り入れて意見予測を行うために,横断的な調査を繰り返すLLMを微調整する手法を開発した。
我々は、AIが強化した調査の新しい2つの応用を紹介した。ふりかえり(すなわち、年レベルの欠落の回答を予測する)と、無意識の意見予測(すなわち、完全に欠落の回答を予測する)である。
1972年から2021年までの一般社会調査における68,846人の意見のバイナライズされた3,110件のうち、Alpaca-7bに基づくモデルでは、レトロディクションが優れている(AUC = 0.86、世論予測は$\rho$ = 0.98)。
これらの顕著な予測能力により、同性婚への支持の高まりなど、公衆の態度が変わったときに、高い信頼と要点を欠如する傾向を埋めることができる。
一方, 微調整したAlpaca-7bモデルでは, 無意見予測(AUC = 0.73, $\rho$ = 0.67)が適度に成功している。
LLMを意見予測に用いる場合、個人の自律性やプライバシーに関する実践的制約や倫理的懸念について論じる。
本研究は,LLMと調査が相互に相互に能力を高めることを実証するものである。
関連論文リスト
- Selective "Selective Prediction": Reducing Unnecessary Abstention in
Vision-Language Reasoning [70.74118923797243]
本稿では、予測精度を低下させることなく、選択的な視覚言語システムの過剰保持を低減するための推論時アルゴリズムReCoVERRを紹介する。
ReCoVERRは,システム精度を低下させることなく,バニラ選択予測よりも,A-OKVQAタスクに対して最大20%の質問に回答できる,BLIP2とInstructBLIPの2つのVLMを実現する。
論文 参考訳(メタデータ) (2024-02-23T21:16:52Z) - Are Large Language Models (LLMs) Good Social Predictors? [36.68104332805214]
本研究では,大規模言語モデル (LLM) が,ショートカットを伴わない一般的な入力機能を与えられた場合,社会的予測において期待通りに機能しないことを示す。
本稿では,実世界の社会学習環境の入力とシミュレートに一般的な特徴を利用する新しい社会予測タスクであるSoc-PRF予測を導入する。
論文 参考訳(メタデータ) (2024-02-20T00:59:22Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Are You Sure? Challenging LLMs Leads to Performance Drops in The
FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。
モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。
我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文 参考訳(メタデータ) (2023-11-14T23:40:22Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - From Values to Opinions: Predicting Human Behaviors and Stances Using
Value-Injected Large Language Models [10.520548925719565]
本稿では,価値注入型大言語モデル(LLM)を用いて意見や行動を予測することを提案する。
VIMの有効性を検証するために,4つのタスクについて一連の実験を行った。
以上の結果から,基本的アプローチよりも価値注入型LCMの方が,意見や行動の予測が優れていることが示唆された。
論文 参考訳(メタデータ) (2023-10-27T02:18:10Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-18T03:34:59Z) - Aligning Language Models to User Opinions [10.953326025836475]
ユーザの意見や人口統計やイデオロギーが相互予測者ではないことが判明した。
ユーザの意見とユーザ人口、イデオロギーの両方をモデル化することで、LCMを整合させる。
人口統計学とイデオロギーを併用したLCMの典型的なアプローチに加えて,個人ユーザからの最も関連性の高い過去の意見を活用すれば,より正確なユーザ意見の予測が可能になることが判明した。
論文 参考訳(メタデータ) (2023-05-24T09:11:11Z) - Predicting Survey Response with Quotation-based Modeling: A Case Study
on Favorability towards the United States [0.0]
そこで我々は,機械学習を用いて探索応答を推定する先駆的手法を提案する。
我々は、さまざまな国籍の個人から引用された膨大なコーパスを活用して、彼らの好意のレベルを抽出する。
自然言語処理技術と機械学習アルゴリズムを組み合わせて,質問応答の予測モデルを構築した。
論文 参考訳(メタデータ) (2023-05-23T14:11:01Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。