論文の概要: Exploring LLMs for Automated Generation and Adaptation of Questionnaires

• arxiv url: http://arxiv.org/abs/2501.05985v2
• Date: Tue, 19 Aug 2025 16:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.382262
• Title: Exploring LLMs for Automated Generation and Adaptation of Questionnaires
• Title（参考訳）: 自動生成のためのLCMの探索とアンケートの適応
• Authors: Divya Mani Adhikari, Alexander Hartland, Ingmar Weber, Vikram Kamath Cannanure,
• Abstract要約: 本研究は, アンケートの生成と適応を支援するLLMの適合性に着目した。 我々は,LLMを活用して新しいアンケートを作成し,対象読者と事前試験を行い,潜在的な問題を特定し,異なる状況における既存の標準アンケートに適応する,新しいパイプラインを提案する。 以上の結果から, LLM 文の明瞭化, LLM 文の明瞭化, LLM 文の具体化, LLM 文の適応化, 従来のテキストよりも若干明確でバイアスの少ない質問に対する回答が得られた。
• 参考スコア（独自算出の注目度）: 41.34785468969536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective questionnaire design improves the validity of the results, but creating and adapting questionnaires across contexts is challenging due to resource constraints and limited expert access. Recently, the emergence of LLMs has led researchers to explore their potential in survey research. In this work, we focus on the suitability of LLMs in assisting the generation and adaptation of questionnaires. We introduce a novel pipeline that leverages LLMs to create new questionnaires, pretest with a target audience to determine potential issues and adapt existing standardized questionnaires for different contexts. We evaluated our pipeline for creation and adaptation through two studies on Prolific, involving 238 participants from the US and 118 participants from South Africa. Our findings show that participants found LLM-generated text clearer, LLM-pretested text more specific, and LLM-adapted questions slightly clearer and less biased than traditional ones. Our work opens new opportunities for LLM-driven questionnaire support in survey research.
• Abstract（参考訳）: 効果的なアンケート設計では, 結果の有効性が向上するが, 資源制約や専門家アクセスの制限などにより, 状況に応じてアンケートを作成し, 適応することは困難である。 近年、LSMの出現により、研究者は調査研究の可能性を探求している。 本研究は, アンケートの生成と適応を支援するLLMの適合性に着目した。 我々は,LLMを活用して新しいアンケートを作成し,対象読者と事前試験を行い,潜在的な問題を特定し,異なる状況における既存の標準アンケートに適応する,新しいパイプラインを提案する。 筆者らは,米国から238人,南アフリカから118人が参加し,Prolificに関する2つの研究を通じて,パイプラインの作成と適応について評価した。 以上の結果から, LLM 文の明瞭化, LLM 文の明瞭化, LLM 文の具体化, LLM 文の適応化, 従来のテキストよりも若干明確でバイアスの少ない質問に対する回答が得られた。 本研究は,LLMによるアンケート調査支援の新たな機会を開くものである。

関連論文リスト

• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation [0.8437187555622164]
  本研究は,他の文脈におけるオープンエンドサーベイ応答の符号化に,LLMがどの程度の精度で利用できるかを検討する。 我々は、最先端のLLMといくつかのプロンプトアプローチを比較し、人間の専門家による符号化を用いてLLMの性能を評価する。 本研究は, LLMを効率的に, 正確に, 確実に活用できる環境研究の進展に寄与する。
  論文  参考訳（メタデータ） (2025-06-17T15:28:53Z)
• Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy [5.92971970173011]
  本稿では,世論データを合成する大規模言語モデルについて検討する。 応答率の低下や非応答バイアスといった従来の調査手法の課題に対処する。 本稿では,知識注入に基づく役割創出という新しい手法を紹介する。
  論文  参考訳（メタデータ） (2025-03-31T21:21:52Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items [0.18416014644193068]
  LLMをコモンセンス評価項目の著者とみなす。 我々はLLMに対して、コモンセンス推論のための顕著なベンチマークのスタイルでアイテムを生成するよう促す。 元のCOPAベンチマークの回答に成功するLCMも、自分自身の項目のオーサリングに成功していることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T22:42:23Z)
• DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels [86.93099925711388]
  長い文脈内での物語的推論に特化したデータセットである textbfDetectiveQA を提案する。 100万以上のトークンを平均化する探偵小説を活用して、中国語と英語の両方で1200人の注釈付き質問を含むデータセットを作成します。
  論文  参考訳（メタデータ） (2024-09-04T06:28:22Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。 コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。 私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• Let LLMs Take on the Latest Challenges! A Chinese Dynamic Question Answering Benchmark [69.3415799675046]
  我々は,中国インターネットの最新ニュースに関連する質問対を含む中国の動的QAベンチマークCDQAを紹介する。 我々は、人間とモデルを組み合わせたパイプラインを通じて高品質なデータを得る。 また,CDQA上での中国LLMの評価と分析を行った。
  論文  参考訳（メタデータ） (2024-02-29T15:22:13Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Crowdsourced Adaptive Surveys [0.0]
  本稿では,クラウドソーシング型適応調査手法(CSAS)を紹介する。 本手法は,参加者が提供したオープンエンドテキストを調査項目に変換し,マルチアームバンディットアルゴリズムを適用し,調査においてどの質問を優先すべきかを判断する。 CSASが研究者と調査参加者の間に概念的ギャップを埋める可能性を強調した。
  論文  参考訳（メタデータ） (2024-01-16T04:05:25Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset [0.0]
  本稿では,Large Language Models (LLMs) の最新のバージョンが,形式的アセスメントのための短解問題に使用される可能性について検討する。 ガーナで150人以上の学生が実施した一連の読解評価から抽出した,短い回答読解質問の新しいデータセットを紹介した。 本論文は, 有能なヒトラッカーと比較して, 生成性LLMの児童短解反応の各種構成がいかに良好かを実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-26T17:05:40Z)
• Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
  実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。 本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-15T07:22:56Z)
• AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction [0.0]
  人間のような反応を生み出す大きな言語モデル(LLM)は、社会科学における研究の実践に革命をもたらし始めている。 横断的な調査を繰り返しながらLLMを微調整する新しい手法の枠組みを開発した。 AIが強化した調査の2つの新しい応用として、レトロディクション(すなわち、年レベルの欠落を予測)と、無意識の意見予測(unasked opinion prediction)を紹介した。
  論文  参考訳（メタデータ） (2023-05-16T17:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。