論文の概要: Exploring LLMs for Automated Pre-Testing of Cross-Cultural Surveys

• arxiv url: http://arxiv.org/abs/2501.05985v1
• Date: Fri, 10 Jan 2025 14:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:46.131803
• Title: Exploring LLMs for Automated Pre-Testing of Cross-Cultural Surveys
• Title（参考訳）: クロスカルチャー・サーベイの自動事前試験のためのLCMの探索
• Authors: Divya Mani Adhikari, Vikram Kamath Cannanure, Alexander Hartland, Ingmar Weber,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いて,異文化間におけるアンケート前テストプロセスを自動化することを提案する。 我々の研究は、LLMを使って、南アフリカの聴衆に米国に焦点を当てた気候変動に関する世論調査を適応させた。
• 参考スコア（独自算出の注目度）: 41.34785468969536
• License:
• Abstract: Designing culturally relevant questionnaires for ICTD research is challenging, particularly when adapting surveys for populations to non-western contexts. Prior work adapted questionnaires through expert reviews and pilot studies, which are resource-intensive and time-consuming. To address these challenges, we propose using large language models (LLMs) to automate the questionnaire pretesting process in cross-cultural settings. Our study used LLMs to adapt a U.S.-focused climate opinion survey for a South African audience. We then tested the adapted questionnaire with 116 South African participants via Prolific, asking them to provide feedback on both versions. Participants perceived the LLM-adapted questions as slightly more favorable than the traditional version. Our note opens discussions on the potential role of LLMs in adapting surveys and facilitating cross-cultural questionnaire design.
• Abstract（参考訳）: ICTD研究のための文化的に関連するアンケートをデザインすることは、特に人口調査を西欧以外の文脈に適応させる際には困難である。 以前の作業は、専門家のレビューやパイロットスタディを通じて、リソース集約的で時間を要する質問に適応した。 これらの課題に対処するため,我々は大規模言語モデル(LLM)を用いて,異文化間におけるアンケート前テストプロセスを自動化することを提案する。 我々の研究は、LLMを使用して、南アフリカの聴衆に米国に焦点を当てた気候変動に関する世論調査を適応させた。 次に、Prolificを通じて南アフリカの参加者116名を対象に、適合したアンケートを実施し、両バージョンについてフィードバックを求めた。 参加者は、LSMに適応した質問は従来の質問よりも少し好意的だと感じた。 調査の適応と文化横断的なアンケート設計の促進にLLMが果たす役割について考察する。

関連論文リスト

• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。 コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。 私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys [1.5727456947901746]
  大規模言語モデル(LLM)が主観的な質問に答えるよう求められたシミュレーションを数百万回実施した。 欧州社会調査(ESS)データと異なるLDM応答の比較は、プロンプトがバイアスや変動性に与える影響が基本であることを示唆している。
  論文  参考訳（メタデータ） (2024-05-29T17:54:22Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  NovelQAは拡張テキストによる大規模言語モデルの能力をテストするために設計されたベンチマークである。 本稿では,ノベルQAの設計と構築について述べる。 NovelQAにおけるLong-context LLMの評価により,モデルの性能に関する重要な知見が得られた。
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• Let LLMs Take on the Latest Challenges! A Chinese Dynamic Question Answering Benchmark [69.3415799675046]
  我々は,中国インターネットの最新ニュースに関連する質問対を含む中国の動的QAベンチマークCDQAを紹介する。 我々は、人間とモデルを組み合わせたパイプラインを通じて高品質なデータを得る。 また,CDQA上での中国LLMの評価と分析を行った。
  論文  参考訳（メタデータ） (2024-02-29T15:22:13Z)
• Crowdsourced Adaptive Surveys [0.0]
  本稿では,クラウドソーシング型適応調査手法(CSAS)を紹介する。 本手法は,参加者が提供したオープンエンドテキストを調査項目に変換し,マルチアームバンディットアルゴリズムを適用し,調査においてどの質問を優先すべきかを判断する。 CSASが研究者と調査参加者の間に概念的ギャップを埋める可能性を強調した。
  論文  参考訳（メタデータ） (2024-01-16T04:05:25Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset [0.0]
  本稿では,Large Language Models (LLMs) の最新のバージョンが,形式的アセスメントのための短解問題に使用される可能性について検討する。 ガーナで150人以上の学生が実施した一連の読解評価から抽出した,短い回答読解質問の新しいデータセットを紹介した。 本論文は, 有能なヒトラッカーと比較して, 生成性LLMの児童短解反応の各種構成がいかに良好かを実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-26T17:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。