論文の概要: Using Large Language Models to Simulate Multiple Humans and Replicate Human Subject Studies

• arxiv url: http://arxiv.org/abs/2208.10264v5
• Date: Sun, 9 Jul 2023 18:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 19:24:34.831616
• Title: Using Large Language Models to Simulate Multiple Humans and Replicate Human Subject Studies
• Title（参考訳）: 大規模言語モデルを用いた複数人のシミュレーションと人間研究の再現
• Authors: Gati Aher, Rosa I. Arriaga, Adam Tauman Kalai
• Abstract要約: チューリング実験(TE)と呼ばれる新しいタイプの試験を導入する。 TEは、言語モデルの特定の人間の振る舞いのシミュレーションにおいて一貫した歪みを明らかにすることができる。 我々は、異なる言語モデルが、古典的な経済、精神言語、社会心理学実験をいかにうまく再現できるかを比較した。
• 参考スコア（独自算出の注目度）: 7.696359453385686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new type of test, called a Turing Experiment (TE), for evaluating to what extent a given language model, such as GPT models, can simulate different aspects of human behavior. A TE can also reveal consistent distortions in a language model's simulation of a specific human behavior. Unlike the Turing Test, which involves simulating a single arbitrary individual, a TE requires simulating a representative sample of participants in human subject research. We carry out TEs that attempt to replicate well-established findings from prior studies. We design a methodology for simulating TEs and illustrate its use to compare how well different language models are able to reproduce classic economic, psycholinguistic, and social psychology experiments: Ultimatum Game, Garden Path Sentences, Milgram Shock Experiment, and Wisdom of Crowds. In the first three TEs, the existing findings were replicated using recent models, while the last TE reveals a "hyper-accuracy distortion" present in some language models (including ChatGPT and GPT-4), which could affect downstream applications in education and the arts.
• Abstract（参考訳）: チューリング実験(te)と呼ばれる新しいタイプのテストを導入し、gptモデルのような特定の言語モデルが人間の行動の様々な側面をシミュレートできるかどうかを評価する。 TEはまた、言語モデルの特定の人間の振る舞いのシミュレーションにおいて一貫した歪みを明らかにすることができる。 単一の任意の個人をシミュレートするチューリングテストとは異なり、TEは人体研究の参加者の代表サンプルをシミュレートする必要がある。 我々は,先行研究から確立した発見を再現しようとするTEを行う。 我々は、TEをシミュレーションするための方法論を設計し、異なる言語モデルが古典的な経済、精神言語、社会心理学の実験をいかにうまく再現できるかを比較するために、Ultimatum Game、Garden Path Sentences、Milgram Shock Experiment、Wisdom of Crowds。 最初の3つのTEでは、既存の発見は最近のモデルで再現され、最後のTEでは、一部の言語モデル(ChatGPTやGPT-4など)に「超精度の歪み」があることが示され、教育や芸術における下流の応用に影響を及ぼす可能性がある。

関連論文リスト

• Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
  本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。 自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
  論文  参考訳（メタデータ） (2024-07-18T13:42:38Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• Simulating Family Conversations using LLMs: Demonstration of Parenting Styles [0.0]
  本研究では,大規模言語モデル(LLM)を用いた模擬会話を通して,心理学的・言語的な研究を行うための枠組みを提案する。 提案手法は、特に潜在的な非倫理的言語や行動を含む人間の相互作用をシミュレートする上で、大きな利点を提供する。
  論文  参考訳（メタデータ） (2024-03-10T09:18:43Z)
• Using Artificial Populations to Study Psychological Phenomena in Neural Models [0.0]
  言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:47:51Z)
• Simulating H.P. Lovecraft horror literature with the ChatGPT large language model [0.0]
  本稿では,ChatGPT大言語モデル,特にGPT-4アーキテクチャを用いて,H.P. Lovecraftのホラー文学をシミュレートする新しい手法を提案する。 本研究の目的は,Lovecraftの独特な書体スタイルとテーマを模倣したテキストを生成することであり,また,モデル出力の導出において,迅速な工学的手法の有効性を検討することである。
  論文  参考訳（メタデータ） (2023-05-05T11:03:03Z)
• Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
  このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。 我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
  論文  参考訳（メタデータ） (2022-09-14T19:53:32Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• Exploring emotional prototypes in a high dimensional TTS latent space [3.4404376509754506]
  訓練されたGSTタコトロンモデルを用いて韻律潜在空間を探索し、感情的韻律のプロトタイプを探索する。 モデルの潜在空間の特定の領域が特定の感情に確実に関連していることを示す。
  論文  参考訳（メタデータ） (2021-05-05T06:49:21Z)
• Reverse Engineering Configurations of Neural Text Generation Models [86.9479386959155]
  モデル選択の結果、機械が生成したテキストに現れるアーティファクトの研究は、新しい研究領域である。 我々は、モデリング選択が検出可能なアーティファクトを生成テキストに残すかどうかを確認するために、広範囲な診断テストを実行する。 我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。
  論文  参考訳（メタデータ） (2020-04-13T21:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。