論文の概要: Exploring LLMs for Automated Generation and Adaptation of Questionnaires

• arxiv url: http://arxiv.org/abs/2501.05985v2
• Date: Tue, 19 Aug 2025 16:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.382262
• Title: Exploring LLMs for Automated Generation and Adaptation of Questionnaires
• Title（参考訳）: 自動生成のためのLCMの探索とアンケートの適応
• Authors: Divya Mani Adhikari, Alexander Hartland, Ingmar Weber, Vikram Kamath Cannanure,
• Abstract要約: 本研究は, アンケートの生成と適応を支援するLLMの適合性に着目した。 我々は,LLMを活用して新しいアンケートを作成し,対象読者と事前試験を行い,潜在的な問題を特定し,異なる状況における既存の標準アンケートに適応する,新しいパイプラインを提案する。 以上の結果から, LLM 文の明瞭化, LLM 文の明瞭化, LLM 文の具体化, LLM 文の適応化, 従来のテキストよりも若干明確でバイアスの少ない質問に対する回答が得られた。
• 参考スコア（独自算出の注目度）: 41.34785468969536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective questionnaire design improves the validity of the results, but creating and adapting questionnaires across contexts is challenging due to resource constraints and limited expert access. Recently, the emergence of LLMs has led researchers to explore their potential in survey research. In this work, we focus on the suitability of LLMs in assisting the generation and adaptation of questionnaires. We introduce a novel pipeline that leverages LLMs to create new questionnaires, pretest with a target audience to determine potential issues and adapt existing standardized questionnaires for different contexts. We evaluated our pipeline for creation and adaptation through two studies on Prolific, involving 238 participants from the US and 118 participants from South Africa. Our findings show that participants found LLM-generated text clearer, LLM-pretested text more specific, and LLM-adapted questions slightly clearer and less biased than traditional ones. Our work opens new opportunities for LLM-driven questionnaire support in survey research.
• Abstract（参考訳）: 効果的なアンケート設計では, 結果の有効性が向上するが, 資源制約や専門家アクセスの制限などにより, 状況に応じてアンケートを作成し, 適応することは困難である。 近年、LSMの出現により、研究者は調査研究の可能性を探求している。 本研究は, アンケートの生成と適応を支援するLLMの適合性に着目した。 我々は,LLMを活用して新しいアンケートを作成し,対象読者と事前試験を行い,潜在的な問題を特定し,異なる状況における既存の標準アンケートに適応する,新しいパイプラインを提案する。 筆者らは,米国から238人,南アフリカから118人が参加し,Prolificに関する2つの研究を通じて,パイプラインの作成と適応について評価した。 以上の結果から, LLM 文の明瞭化, LLM 文の明瞭化, LLM 文の具体化, LLM 文の適応化, 従来のテキストよりも若干明確でバイアスの少ない質問に対する回答が得られた。 本研究は,LLMによるアンケート調査支援の新たな機会を開くものである。

関連論文リスト

• AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation [0.8437187555622164]
  本研究は,他の文脈におけるオープンエンドサーベイ応答の符号化に,LLMがどの程度の精度で利用できるかを検討する。 我々は、最先端のLLMといくつかのプロンプトアプローチを比較し、人間の専門家による符号化を用いてLLMの性能を評価する。 本研究は, LLMを効率的に, 正確に, 確実に活用できる環境研究の進展に寄与する。
  論文  参考訳（メタデータ） (2025-06-17T15:28:53Z)
• Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy [5.92971970173011]
  本稿では,世論データを合成する大規模言語モデルについて検討する。 応答率の低下や非応答バイアスといった従来の調査手法の課題に対処する。 本稿では,知識注入に基づく役割創出という新しい手法を紹介する。
  論文  参考訳（メタデータ） (2025-03-31T21:21:52Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels [86.93099925711388]
  長い文脈内での物語的推論に特化したデータセットである textbfDetectiveQA を提案する。 100万以上のトークンを平均化する探偵小説を活用して、中国語と英語の両方で1200人の注釈付き質問を含むデータセットを作成します。
  論文  参考訳（メタデータ） (2024-09-04T06:28:22Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。 コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。 私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• Let LLMs Take on the Latest Challenges! A Chinese Dynamic Question Answering Benchmark [69.3415799675046]
  我々は,中国インターネットの最新ニュースに関連する質問対を含む中国の動的QAベンチマークCDQAを紹介する。 我々は、人間とモデルを組み合わせたパイプラインを通じて高品質なデータを得る。 また,CDQA上での中国LLMの評価と分析を行った。
  論文  参考訳（メタデータ） (2024-02-29T15:22:13Z)
• Crowdsourced Adaptive Surveys [0.0]
  本稿では,クラウドソーシング型適応調査手法(CSAS)を紹介する。 本手法は,参加者が提供したオープンエンドテキストを調査項目に変換し,マルチアームバンディットアルゴリズムを適用し,調査においてどの質問を優先すべきかを判断する。 CSASが研究者と調査参加者の間に概念的ギャップを埋める可能性を強調した。
  論文  参考訳（メタデータ） (2024-01-16T04:05:25Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset [0.0]
  本稿では,Large Language Models (LLMs) の最新のバージョンが,形式的アセスメントのための短解問題に使用される可能性について検討する。 ガーナで150人以上の学生が実施した一連の読解評価から抽出した,短い回答読解質問の新しいデータセットを紹介した。 本論文は, 有能なヒトラッカーと比較して, 生成性LLMの児童短解反応の各種構成がいかに良好かを実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-26T17:05:40Z)
• AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction [0.0]
  人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。 横断的な調査を繰り返しながらLLMを微調整する新しい手法の枠組みを開発した。 AIが強化した調査の2つの新しい応用として、レトロディクション(すなわち、年レベルの欠落を予測)と、無意識の意見予測(unasked opinion prediction)を紹介した。
  論文  参考訳（メタデータ） (2023-05-16T17:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。