論文の概要: Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys

• arxiv url: http://arxiv.org/abs/2604.17267v1
• Date: Sun, 19 Apr 2026 05:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.426085
• Title: Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys
• Title（参考訳）: LLM法調査における変形困難度と最適試料配置
• Authors: Zikun Ye, Hema Yoganarasimhan,
• Abstract要約: 大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。 各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。 まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。 第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models can generate synthetic survey responses at low cost, but their accuracy varies unpredictably across questions. We study the design problem of allocating a fixed budget of human respondents across estimation tasks when cheap LLM predictions are available for every task. Our framework combines three components. First, building on Prediction-Powered Inference, we characterize a question-specific rectification difficulty that governs how quickly the estimator's variance decreases with human sample size. Second, we derive a closed-form optimal allocation rule that directs more human labels to tasks where the LLM is least reliable. Third, since rectification difficulty depends on unobserved human responses for new surveys, we propose a meta-learning approach, trained on historical data, that predicts it for entirely new tasks without pilot data. The framework extends to general M-estimation, covering regression coefficients and multinomial logit partworths for conjoint analysis. We validate the framework on two datasets spanning different domains, question types, and LLMs, showing that our approach captures 61-79% of the theoretically attainable efficiency gains, achieving 11.4% and 10.5% MSE reductions without requiring any pilot human data for the target survey.
• Abstract（参考訳）: 大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。 各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。 私たちのフレームワークは3つのコンポーネントを組み合わせています。 まず、予測パワー推論に基づいて、推定器の分散がヒトのサンプルサイズとともにどれだけ早く減少するかを決定する質問特化補正の難しさを特徴付ける。 第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。 第3に, 改定の難しさは, 新たな調査に対する未観測人の反応に依存するため, 過去のデータに基づいて訓練されたメタラーニング手法を提案し, パイロットデータなしで全く新しいタスクを予測した。 このフレームワークは一般のM推定にまで拡張され、コンジョイント解析のための回帰係数と多重項ロジットパートワースをカバーしている。 このフレームワークは、異なるドメイン、質問タイプ、LLMにまたがる2つのデータセット上で検証され、理論的に達成可能な効率向上の61～79%を、ターゲットサーベイにパイロットデータを必要としない11.4%と10.5%のMSE削減を達成した。

関連論文リスト

• Adaptive Budget Allocation in LLM-Augmented Surveys [4.998402019776929]
  大規模言語モデル(LLM)は低コストで調査応答を生成することができるが、信頼性は質問によって大きく異なる。 本稿では,人間の回答を同時に収集しながら,どの質問がLLMにとって最も難しいかを学習する適応的アロケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:25:34Z)
• Estimating problem difficulty without ground truth using Large Language Model comparisons [4.599673637363014]
  そこで本研究では,LLMとLLMを比較し,問題の難易度を推定する手法を提案する。 LLMはペアの難易度比較を行い、Bradley-Terryスコアは結果に基づいて計算される。 我々の研究は、時間を要する人間のアノテーションと合成データ生成を置き換えるための重要なステップである。
  論文  参考訳（メタデータ） (2025-12-16T09:13:56Z)
• Valid Survey Simulations with Limited Human Data: The Roles of Prompting, Fine-Tuning, and Rectification [12.462181498019051]
  本研究では,大規模言語モデルを用いて調査応答を生成する合成手法と,人口推定を損なう補正手法の相互作用について検討する。 その結果, 合成だけではかなりのバイアス(24～86%)が生じるのに対し, 改質と組み合わせることで5%未満のバイアスが減少し, 有効試料径が最大14%増加することがわかった。
  論文  参考訳（メタデータ） (2025-10-13T13:48:07Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Uncertainty Quantification for LLM-Based Survey Simulations [9.303339416902995]
  本研究では,大規模言語モデル(LLM)を用いて質問に対する人間の反応をシミュレートする。 提案手法は,不完全なLLMシミュレーション応答を集団パラメータの信頼セットに変換する。 重要な革新は、シミュレーションされたレスポンスの最適な数を決定することである。
  論文  参考訳（メタデータ） (2025-02-25T02:07:29Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。