論文の概要: The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective

• arxiv url: http://arxiv.org/abs/2312.15524v2
• Date: Tue, 21 Jan 2025 21:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:20.073887
• Title: The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective
• Title（参考訳）: LLMを用いた人間の行動シミュレーションの課題--因果推論の視点から
• Authors: George Gui, Olivier Toubia,
• Abstract要約: 大きな言語モデル(LLM)は、人間の振る舞いをシミュレートする素晴らしい可能性を示している。 実験をシミュレートする上での根本的な課題を特定します。 LLMを模擬した被験者が実験設計に盲目である場合、治療のバリエーションは不特定変数に系統的に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 0.27624021966289597
• License:
• Abstract: Large Language Models (LLMs) have shown impressive potential to simulate human behavior. We identify a fundamental challenge in using them to simulate experiments: when LLM-simulated subjects are blind to the experimental design (as is standard practice with human subjects), variations in treatment systematically affect unspecified variables that should remain constant, violating the unconfoundedness assumption. Using demand estimation as a context and an actual experiment as a benchmark, we show this can lead to implausible results. While confounding may in principle be addressed by controlling for covariates, this can compromise ecological validity in the context of LLM simulations: controlled covariates become artificially salient in the simulated decision process, which introduces focalism. This trade-off between unconfoundedness and ecological validity is usually absent in traditional experimental design and represents a unique challenge in LLM simulations. We formalize this challenge theoretically, showing it stems from ambiguous prompting strategies, and hence cannot be fully addressed by improving training data or by fine-tuning. Alternative approaches that unblind the experimental design to the LLM show promise. Our findings suggest that effectively leveraging LLMs for experimental simulations requires fundamentally rethinking established experimental design practices rather than simply adapting protocols developed for human subjects.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の振る舞いをシミュレートする素晴らしい可能性を示している。 LLMを模擬した被験者が実験設計に盲目である場合(人体では標準的な慣行である)、治療のバリエーションは、一定であるべき不特定変数に体系的に影響を及ぼし、不定性仮定に違反する。 需要推定をコンテキストとして、実際の実験をベンチマークとして使用することにより、これは予測不可能な結果をもたらす可能性があることを示す。 コンバウンディングは、原則として共変量を制御することで対処できるが、これはLLMシミュレーションの文脈で生態学的妥当性を損なう可能性がある。 この不整合性と生態的妥当性のトレードオフは通常、従来の実験設計では欠落しており、LLMシミュレーションにおいてユニークな課題である。 我々は、この課題を理論的に定式化し、曖昧なプロンプト戦略に由来することを示し、それゆえ、トレーニングデータの改善や微調整によって完全に対処できないことを示す。 実験的な設計をLSMに開放する別のアプローチは、有望である。 実験シミュレーションにLLMを効果的に活用するには,人体に開発されたプロトコルを単に適応させるのではなく,確立した設計プラクティスを根本的に再考する必要があることが示唆された。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Can LLMs Reliably Simulate Human Learner Actions? A Simulation Authoring Framework for Open-Ended Learning Environments [1.4999444543328293]
  学習者の行動のシミュレーションは、ストレステストのオープンエンドな対話型学習環境を支援し、デプロイ前に新しい適応のプロトタイプを作成する。 我々は,学習者行動に関する検証可能な仮説を組み合わせることで,専門家がシミュレーションを開発し,評価できるシミュレーションオーサリングフレームワークHyp-Mixを提案する。
  論文  参考訳（メタデータ） (2024-10-03T00:25:40Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
  既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。 そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。 我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
  論文  参考訳（メタデータ） (2024-02-13T19:46:39Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Sequential Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
  猿が猿を見なさい」とは、制度の根底にある仕組みを深く理解せずに「生」の模倣を指して、昔ながらの格言である。 本稿では、エピソード毎に複数の意思決定をしなければならないシーケンシャルセッティングにおける因果模倣学習の問題について検討する。
  論文  参考訳（メタデータ） (2022-08-12T13:53:23Z)
• On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods [20.2027063607352]
  本稿では,事前説明可能なML評価実験を拡張し,設定を配置設定に近づける実験を行った。 私たちの経験的研究は、以前の研究と劇的に異なる結論を導き、一見自明な実験的な設計選択が、いかに誤解を招く結果をもたらすかを浮き彫りにしています。 この研究は、任意のMLメソッドの評価をシチュレートし、意図されたデプロイメントコンテキストに合わせて適切なタスク、データ、ユーザ、メトリクスを選択する必要性についての教訓を持っていると信じています。
  論文  参考訳（メタデータ） (2022-06-24T14:46:19Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• Simulation as Experiment: An Empirical Critique of Simulation Research on Recommender Systems [4.006331916849688]
  我々は、レコメンダシステム(RS)の進化に関するシミュレーション研究は、概念的には経験的な実験的アプローチと似ていると論じる。 経験的な分野に共通する標準やプラクティスを採用することで、シミュレーション研究者はこれらの弱点の多くを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-29T21:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。