論文の概要: The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective

• arxiv url: http://arxiv.org/abs/2312.15524v1
• Date: Sun, 24 Dec 2023 16:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 17:38:23.203884
• Title: The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective
• Title（参考訳）: LLMを用いた人間の行動シミュレーションの課題--因果推論の視点から
• Authors: George Gui, Olivier Toubia
• Abstract要約: 大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする驚くべき可能性を実証している。 本研究は,プロンプトに含まれる治療の変動が,不特定要因の変動を引き起こすことを示した。 この内在性問題を他の文脈に一般化する理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.32634122554913997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive potential to simulate human behavior. Using a causal inference framework, we empirically and theoretically analyze the challenges of conducting LLM-simulated experiments, and explore potential solutions. In the context of demand estimation, we show that variations in the treatment included in the prompt (e.g., price of focal product) can cause variations in unspecified confounding factors (e.g., price of competitors, historical prices, outside temperature), introducing endogeneity and yielding implausibly flat demand curves. We propose a theoretical framework suggesting this endogeneity issue generalizes to other contexts and won't be fully resolved by merely improving the training data. Unlike real experiments where researchers assign pre-existing units across conditions, LLMs simulate units based on the entire prompt, which includes the description of the treatment. Therefore, due to associations in the training data, the characteristics of individuals and environments simulated by the LLM can be affected by the treatment assignment. We explore two potential solutions. The first specifies all contextual variables that affect both treatment and outcome, which we demonstrate to be challenging for a general-purpose LLM. The second explicitly specifies the source of treatment variation in the prompt given to the LLM (e.g., by informing the LLM that the store is running an experiment). While this approach only allows the estimation of a conditional average treatment effect that depends on the specific experimental design, it provides valuable directional results for exploratory analysis.
• Abstract（参考訳）: 大規模言語モデル(llm)は、人間の行動をシミュレートする素晴らしい可能性を示している。 因果推論フレームワークを用いて, LLMシミュレーション実験の課題を実験的に理論的に分析し, 潜在的な解決策を探究する。 需要推定の文脈において, プロンプトに含まれる処理の変動(例えば, 焦点製品の価格)は, 特定の組み合わせ要因(例えば, 競合価格, 歴史的価格, 外部温度)の変動を引き起こし, 内在性を導入し, 明白な平坦な需要曲線をもたらす。 本稿では,この内在性の問題を他の文脈に一般化し,単にトレーニングデータを改善するだけでは完全には解決できないという理論的枠組みを提案する。 研究者が既存の単位を条件を越えて割り当てる実際の実験とは異なり、LLMは治療の説明を含むプロンプト全体に基づいて単位をシミュレートする。 したがって、トレーニングデータの関連性から、LSMによってシミュレーションされた個人や環境の特性が治療課題に影響される可能性がある。 潜在的な解決策を2つ探る。 第1に、治療と結果の両方に影響を与える文脈変数を指定し、汎用LLMでは困難であることを示す。 2つ目は、LSMに与えられたプロンプト(例えば、ストアが実験を行っていることをLSMに通知することで)の処理のバリエーションのソースを明確に指定する。 このアプローチは、特定の実験設計に依存する条件付き平均治療効果のみを推定できるが、探索分析に有用な方向的結果を与える。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Can LLMs Reliably Simulate Human Learner Actions? A Simulation Authoring Framework for Open-Ended Learning Environments [1.4999444543328293]
  学習者の行動のシミュレーションは、ストレステストのオープンエンドな対話型学習環境を支援し、デプロイ前に新しい適応のプロトタイプを作成する。 我々は,学習者行動に関する検証可能な仮説を組み合わせることで,専門家がシミュレーションを開発し,評価できるシミュレーションオーサリングフレームワークHyp-Mixを提案する。
  論文  参考訳（メタデータ） (2024-10-03T00:25:40Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
  既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。 そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。 我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
  論文  参考訳（メタデータ） (2024-02-13T19:46:39Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Sequential Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
  猿が猿を見なさい」とは、制度の根底にある仕組みを深く理解せずに「生」の模倣を指して、昔ながらの格言である。 本稿では、エピソード毎に複数の意思決定をしなければならないシーケンシャルセッティングにおける因果模倣学習の問題について検討する。
  論文  参考訳（メタデータ） (2022-08-12T13:53:23Z)
• On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods [20.2027063607352]
  本稿では,事前説明可能なML評価実験を拡張し,設定を配置設定に近づける実験を行った。 私たちの経験的研究は、以前の研究と劇的に異なる結論を導き、一見自明な実験的な設計選択が、いかに誤解を招く結果をもたらすかを浮き彫りにしています。 この研究は、任意のMLメソッドの評価をシチュレートし、意図されたデプロイメントコンテキストに合わせて適切なタスク、データ、ユーザ、メトリクスを選択する必要性についての教訓を持っていると信じています。
  論文  参考訳（メタデータ） (2022-06-24T14:46:19Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• Simulation as Experiment: An Empirical Critique of Simulation Research on Recommender Systems [4.006331916849688]
  我々は、レコメンダシステム(RS)の進化に関するシミュレーション研究は、概念的には経験的な実験的アプローチと似ていると論じる。 経験的な分野に共通する標準やプラクティスを採用することで、シミュレーション研究者はこれらの弱点の多くを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-29T21:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。