論文の概要: Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses

• arxiv url: http://arxiv.org/abs/2605.19229v1
• Date: Tue, 19 May 2026 00:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.051735
• Title: Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses
• Title（参考訳）: 大規模言語モデルが調査研究に革命をもたらすか : 災害対応実験
• Abstract要約: 大規模な言語モデル(LLM)は治療として提案されているが、完全なサーベイワークフロー全体にわたる厳密な評価はほとんど残っていない。 アンケート設計, サンプル選択, パイロットテスト, 欠落データ計算, および収集後の分析を対象とする, LLM 統合のための5段階フレームワークを提示し, 評価した。 保護モチベーション理論 (PMT) 制約付き共起知識グラフを導入し, ゼロショット推論, 検索拡張ベースライン, 新規な理論インフォームド変種にまたがる7つのLLM構成を開発する。
• 参考スコア（独自算出の注目度）: 6.004875368104112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Survey research faces mounting structural challenges: declining response rates, sample bias, block-wise missingness among at-risk respondents, and AI-assisted fraudulent completions in online panels. Large language models (LLMs) have been proposed as a remedy, yet rigorous evaluations across the full survey workflow remain scarce, particularly in disaster contexts where data quality matters most. We present and evaluate a five-stage framework for LLM integration covering questionnaire design, sample selection, pilot testing, missing-data imputation, and post-collection analysis, using the 2024 Hurricane Milton preparedness survey of Florida residents (n=946) as a shared empirical testbed. We introduce a Protection Motivation Theory (PMT)-constrained co-occurrence knowledge graph and develop seven LLM configurations spanning zero-shot inference, retrieval-augmented baselines, and novel theory-informed variants. Our proposed Anchored Marginal Theory-Informed LLM (A-TLM) outperforms all three classical imputation baselines (IPW/MI, MICE+PMM, missForest) on RMSE under disaster-relevant block-wise MNAR conditions (S4 RMSE 1.439 vs. 1.496 for the next-best), while achieving near-zero signed bias (-0.121) where the random-forest imputer produces the largest absolute bias (-0.631). Organizing retrieval around PMT causal structure and integrating all evidence in a single model call outperforms unstructured retrieval and staged sequential inference (MAE 0.993 vs. 1.097 for standard RAG). We document that near-zero aggregate bias can mask opposing subgroup errors and propose subgroup-stratified bias auditing as a reporting standard. A retrieval-constrained knowledge-graph chatbot demonstrates that hallucination is architecturally manageable through grounded refusal.
• Abstract（参考訳）: 調査では、応答率の低下、サンプルバイアス、リスクの高い回答者のブロックワイド欠如、オンラインパネルでのAI支援による不正完了など、構造的な課題に直面している。 大規模言語モデル(LLM)は治療として提案されているが、完全な調査ワークフロー全体にわたる厳密な評価は、特にデータ品質が最も重要な災害状況において、依然として不十分である。 フロリダの住民を対象とした2024年ハリケーン・ミルトン準備調査(n=946)を用いて, アンケート設計, サンプル選択, パイロットテスト, 欠測データ計算, および収集後の分析を含む5段階のLCM統合フレームワークを試作し, 評価した。 保護モチベーション理論 (PMT) 制約付き共起知識グラフを導入し, ゼロショット推論, 検索拡張ベースライン, 新規な理論インフォームド変種にまたがる7つのLLM構成を開発する。 提案したAnchored Marginal Theory-Informed LLM (A-TLM) は,災害関連ブロックワイドMNAR条件(S4 RMSE 1.439 vs。 PMT因果構造に関する検索を組織化し、すべての証拠を単一のモデルにまとめることで、非構造的検索と段階的推論(MAE 0.993 vs. 1.097 for standard RAG)の性能が向上する。 ほぼゼロに近い集団バイアスは、サブグループの誤りを隠蔽し、サブグループの階層化されたバイアス監査を報告基準として提案する。 検索制約付き知識グラフチャットボットは、暗黙の拒絶によって幻覚が建築的に管理可能であることを示す。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
  下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。 筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。 プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
  論文  参考訳（メタデータ） (2026-08-11T20:30:32Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Silicon Sampling via Cross-Survey Transfer [0.0]
  シリコンサンプリングを利用した大規模言語モデル(LLMs)は、従来の調査研究を拡大するための有望なアプローチとして、人間の調査回答者をシミュレートする。 我々は,LLMが一つの質問に対して応答者の回答を与え,その回答を同じ質問から完全に異なる質問に対して予測する,より厳密な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-03T08:22:18Z)
• In-Context Learning for the Imputation of Public Opinion Data with Large Language Models [1.928261926292315]
  In-context Learning (ICL) を用いて, 欠落した調査データをインプットする手法を提案する。 異なる欠陥機構(MCAR, MAR, MNAR)間でのICL設計選択を系統的に評価する。 我々のICLアプローチは、非ランダム欠落(MNAR)の下で最大のゲインを持つ、すべての欠落メカニズムにおける絶対誤差を一貫して減少させる。
  論文  参考訳（メタデータ） (2026-06-08T11:25:10Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys [0.0]
  大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。 各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。 まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。 第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
  論文  参考訳（メタデータ） (2026-04-19T05:45:37Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• DisastQA: A Comprehensive Benchmark for Evaluating Question Answering in Disaster Management [27.25517951457221]
  我々は8つの災害タイプにまたがる3000の厳格に検証された質問(2000の多重選択と1,000のオープンエンド)の大規模ベンチマークであるDisastQAを紹介した。 オープンエンドQAでは,冗長性よりも事実的完全性を重視した,人間の検証されたキーポイントに基づく評価プロトコルを提案する。 20モデルを用いた実験では、MMLU-Proのような汎用のリーダーボードとはかなりの相違が見られる。
  論文  参考訳（メタデータ） (2026-01-07T07:46:42Z)
• Bias Testing and Mitigation in Black Box LLMs using Metamorphic Relations [12.095552079739933]
  本稿では,系統的バイアス評価と目標緩和のための統一的な枠組みを提案する。 われわれは6つの新しいメタモルフィック関係(MR)を導入する。 MRは直接バイアス誘発入力を意味論的に等価だが逆向きに挑戦する変種に変換する。
  論文  参考訳（メタデータ） (2025-11-29T16:56:38Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case [0.0]
  大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。 チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
  論文  参考訳（メタデータ） (2025-09-11T21:43:59Z)
• Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses [2.3112192919085826]
  大規模言語モデル (LLMs) は、社会科学調査において、人間の被験者のプロキシとしてますます使われている。 既知のヒトのような反応バイアスに対する信頼性と感受性は理解されていない。 本研究は, 標準調査文脈におけるLCMの応答ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-09T18:01:50Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。