論文の概要: Adaptive political surveys and GPT-4: Tackling the cold start problem with simulated user interactions
- arxiv url: http://arxiv.org/abs/2503.09311v1
- Date: Wed, 12 Mar 2025 12:02:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 21:17:52.731727
- Title: Adaptive political surveys and GPT-4: Tackling the cold start problem with simulated user interactions
- Title（参考訳）: 適応型政治調査とGPT-4:シミュレーションによる冷間開始問題への対処
- Authors: Fynn Bachmann, Daan van der Weijden, Lucien Heitz, Cristina Sarasua, Abraham Bernstein,
- Abstract要約: 適応質問票は, アンケート参加者に対して, 前の回答に基づいて, 次の質問を動的に選択する。
デジタル化により、これらは政治科学などの応用分野における伝統的な調査の代替となる。
1つの制限は、質問の選択のためにモデルをトレーニングするデータへの依存である。
適応型政治調査の統計モデルを事前学習するために,合成データが利用できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 5.902306366006418
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Adaptive questionnaires dynamically select the next question for a survey participant based on their previous answers. Due to digitalisation, they have become a viable alternative to traditional surveys in application areas such as political science. One limitation, however, is their dependency on data to train the model for question selection. Often, such training data (i.e., user interactions) are unavailable a priori. To address this problem, we (i) test whether Large Language Models (LLM) can accurately generate such interaction data and (ii) explore if these synthetic data can be used to pre-train the statistical model of an adaptive political survey. To evaluate this approach, we utilise existing data from the Swiss Voting Advice Application (VAA) Smartvote in two ways: First, we compare the distribution of LLM-generated synthetic data to the real distribution to assess its similarity. Second, we compare the performance of an adaptive questionnaire that is randomly initialised with one pre-trained on synthetic data to assess their suitability for training. We benchmark these results against an "oracle" questionnaire with perfect prior knowledge. We find that an off-the-shelf LLM (GPT-4) accurately generates answers to the Smartvote questionnaire from the perspective of different Swiss parties. Furthermore, we demonstrate that initialising the statistical model with synthetic data can (i) significantly reduce the error in predicting user responses and (ii) increase the candidate recommendation accuracy of the VAA. Our work emphasises the considerable potential of LLMs to create training data to improve the data collection process in adaptive questionnaires in LLM-affine areas such as political surveys.
- Abstract（参考訳）: 適応質問票は, アンケート参加者に対して, 前の回答に基づいて, 次の質問を動的に選択する。
デジタル化により、これらは政治科学などの応用分野における伝統的な調査の代替となる。
しかし、1つの制限は、質問の選択のためにモデルをトレーニングするためのデータへの依存である。
多くの場合、そのようなトレーニングデータ(つまりユーザインタラクション)はプリオリでは利用できない。
この問題に対処するため、我々は
i)Large Language Models(LLM)がそのようなインタラクションデータを正確に生成できるかどうかを検証し、
(二)適応型政治調査の統計モデルを事前学習するためにこれらの合成データが利用できるかどうかを検討する。
このアプローチを評価するために,Swiss Voting Advice Application (VAA) Smartvoteの既存のデータを2つの方法で利用した。
第2に、ランダムに初期化される適応型質問票の性能と、合成データに基づいて事前学習した質問票の性能を比較して、学習適性を評価する。
我々は,これらの結果を,完全な事前知識を持つ「おかしな」質問票と比較した。
We found that a off-the-shelf LLM (GPT-4) predicts to the Smartvote Question from the different Swiss party。
さらに,合成データを用いた統計モデルの初期化が可能であることを示す。
(i)ユーザ応答の予測におけるエラーを著しく低減し、
(二)VAAの推薦精度を高めること。
我々の研究は、政治調査などのLLM対応領域における適応的なアンケートにおいて、データ収集プロセスを改善するためのトレーニングデータを作成するためのLLMのかなりの可能性を強調している。
関連論文リスト
- A Survey on Tabular Data Generation: Utility, Alignment, Fidelity, Privacy, and Beyond [53.56796220109518]
異なるユースケースは、実際に有用な異なる要件を満たすために合成データを要求する。
合成データの実用性、合成データのドメイン固有の知識との整合性、実際のデータ分布と比較しての合成データ分布の統計的忠実度、プライバシ保護能力の4つの要件をレビューする。
今後の分野の方向性と、現在の評価方法を改善する機会について論じる。
論文 参考訳（メタデータ） (2025-03-07T21:47:11Z) - Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction [5.774786149181393]
大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。
LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。
政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
論文 参考訳（メタデータ） (2025-02-22T16:25:33Z) - Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。
テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。
予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
論文 参考訳（メタデータ） (2025-02-10T21:59:27Z) - Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs? [1.7819574476785418]
本研究では,Large Language Models (LLMs) が人工的なサーベイを生成する可能性について検討する。
合成データ作成にLLMを活用することにより,従来の調査手法の限界に対処することを目指す。
Personas」を取り入れた新しい手法が提案され、他の5つの総合的なサーベイ手法と比較された。
論文 参考訳（メタデータ） (2025-01-20T15:11:03Z) - Large Language Models for Market Research: A Data-augmentation Approach [3.3199591445531453]
大規模言語モデル(LLM)は、複雑な自然言語処理タスクに優れ、人工知能を変革した。
近年の研究では、LLMが生成するデータと人間のデータの間に大きなギャップが見られ、両者を置換する際にバイアスが発生している。
コンジョイント解析において,LLM生成データと実データとを効率的に統合する新しい統計データ拡張手法を提案する。
論文 参考訳（メタデータ） (2024-12-26T22:06:29Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - SQBC: Active Learning using LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions [1.1624569521079426]
オンライン政治討論における姿勢検出エージェントの訓練と改善にLLM生成合成データを活用する2つの方法を提案する。
まず,簡単な微調整データセットを合成データで拡張することで,姿勢検出モデルの性能を向上できることを示す。
第2に,クエリ・バイ・コミティ(Query-by-Comittee)アプローチに基づくSQBCと呼ばれる新しいアクティブ・ラーニング手法を提案する。
論文 参考訳（メタデータ） (2024-04-11T18:34:11Z) - Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and
Beyond [93.96982273042296]
視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。
我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。
本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。
次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
論文 参考訳（メタデータ） (2023-10-23T08:09:42Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Open vs Closed-ended questions in attitudinal surveys -- comparing,
combining, and interpreting using natural language processing [3.867363075280544]
トピックモデリングは、オープンな応答から情報を抽出する時間を著しく短縮する可能性がある。
本研究はトピックモデリングを用いて,オープンエンド質問から情報を抽出し,その性能をクローズドエンド応答と比較する。
論文 参考訳（メタデータ） (2022-05-03T06:01:03Z) - Statistical Inference After Adaptive Sampling for Longitudinal Data [9.468593929311867]
本研究では,Z推定による適応的なサンプルデータに対して,様々な統計的解析を行う新しい手法を開発した。
本研究は, 実験プロセスのための新しい理論ツールを開発し, 個別の関心を持つ可能性のある, 適応的にサンプル化された長手データについて述べる。
論文 参考訳（メタデータ） (2022-02-14T23:48:13Z) - A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。
後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
論文 参考訳（メタデータ） (2021-05-25T20:35:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。