論文の概要: Predicting Field Experiments with Large Language Models

• arxiv url: http://arxiv.org/abs/2504.01167v1
• Date: Tue, 01 Apr 2025 20:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:33.406105
• Title: Predicting Field Experiments with Large Language Models
• Title（参考訳）: 大規模言語モデルによるフィールド実験の予測
• Authors: Yaoyu Chen, Yuheng Hu, Yingda Lu,
• Abstract要約: 本研究では,フィールド実験結果の予測を自動生成するフレームワークを提案し,評価する。 この枠組みを著名な経済学文献から抽出した319の実験に適用すると、顕著な予測精度は78%となる。 この歪みは、性別の違い、民族性、社会的規範など、いくつかの要因に起因している。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License:
• Abstract: Large language models (LLMs) have demonstrated unprecedented emergent capabilities, including content generation, translation, and the simulation of human behavior. Field experiments, despite their high cost, are widely employed in economics and the social sciences to study real-world human behavior through carefully designed manipulations and treatments. However, whether and how these models can be utilized to predict outcomes of field experiments remains unclear. In this paper, we propose and evaluate an automated LLM-based framework that produces predictions of field experiment outcomes. Applying this framework to 319 experiments drawn from renowned economics literature yields a notable prediction accuracy of 78%. Interestingly, we find that performance is highly skewed. We attribute this skewness to several factors, including gender differences, ethnicity, and social norms.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コンテンツ生成、翻訳、人間の行動のシミュレーションなど、先例のない創発的能力を示している。 フィールド実験はコストが高いにもかかわらず、慎重に設計された操作や治療を通じて現実世界の人間の行動を研究するために、経済学や社会科学に広く採用されている。 しかし、これらのモデルがどのようにフィールド実験の結果を予測することができるかは、まだ不明である。 本稿では,フィールド実験結果の予測を自動生成するLLMベースのフレームワークを提案し,評価する。 この枠組みを著名な経済学文献から抽出した319の実験に適用すると、顕著な予測精度は78%となる。 興味深いことに、パフォーマンスは非常に歪んでいる。 この歪みは、性別の違い、民族性、社会的規範など、いくつかの要因に起因している。

関連論文リスト

• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• LLMs Model Non-WEIRD Populations: Experiments with Synthetic Cultural Agents [0.0]
  我々は、多様で非WEIRD(西欧、教育、工業化、富裕化、民主化)の経済行動を研究する。 我々は、これらの人口を表す合成文化的エージェント(SCA)を作成するために、LLM(Large Language Models)を使用します。 本研究は,実験行動における異文化間差異を顕著に示すものである。
  論文  参考訳（メタデータ） (2025-01-12T15:06:28Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods [20.2027063607352]
  本稿では,事前説明可能なML評価実験を拡張し,設定を配置設定に近づける実験を行った。 私たちの経験的研究は、以前の研究と劇的に異なる結論を導き、一見自明な実験的な設計選択が、いかに誤解を招く結果をもたらすかを浮き彫りにしています。 この研究は、任意のMLメソッドの評価をシチュレートし、意図されたデプロイメントコンテキストに合わせて適切なタスク、データ、ユーザ、メトリクスを選択する必要性についての教訓を持っていると信じています。
  論文  参考訳（メタデータ） (2022-06-24T14:46:19Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Bayesian Optimal Experimental Design for Simulator Models of Cognition [14.059933880568908]
  BOEDの最近の進歩と、難解モデルに対する近似推論を組み合わせ、最適な実験設計を求める。 マルチアームバンディットタスクのシミュレーション実験により,モデル判別とパラメータ推定の改善が得られた。
  論文  参考訳（メタデータ） (2021-10-29T09:04:01Z)
• Predicting Performance for Natural Language Processing Tasks [128.34208911925424]
  実験条件を入力として,NLP実験の評価スコアを予測する回帰モデルを構築した。 9つの異なるNLPタスクを実験した結果、予測器は目に見えない言語や異なるモデリングアーキテクチャに対して有意義な予測を生成できることがわかった。
  論文  参考訳（メタデータ） (2020-05-02T16:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。