論文の概要: Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs
- arxiv url: http://arxiv.org/abs/2403.05020v3
- Date: Thu, 18 Apr 2024 18:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 19:28:01.854629
- Title: Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs
- Title(参考訳): これが現実なのか? 幻想なのか? LLMとの社会的相互作用のシミュレーションの失敗の成功
- Authors: Xuhui Zhou, Zhe Su, Tiwalayo Eisape, Hyunwoo Kim, Maarten Sap,
- Abstract要約: 大規模言語モデル(LLM)はより豊かな社会シミュレーションを可能にし、様々な社会現象の研究を可能にしている。
最近の研究は、これらのシミュレーションについて、人間とAIエージェントが現実世界で関与する不完全で情報非対称な相互作用と、基本的には異なっています。
- 参考スコア(独自算出の注目度): 24.613282867543244
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advances in large language models (LLM) have enabled richer social simulations, allowing for the study of various social phenomena. However, most recent work has used a more omniscient perspective on these simulations (e.g., single LLM to generate all interlocutors), which is fundamentally at odds with the non-omniscient, information asymmetric interactions that involve humans and AI agents in the real world. To examine these differences, we develop an evaluation framework to simulate social interactions with LLMs in various settings (omniscient, non-omniscient). Our experiments show that LLMs perform better in unrealistic, omniscient simulation settings but struggle in ones that more accurately reflect real-world conditions with information asymmetry. Our findings indicate that addressing information asymmetry remains a fundamental challenge for LLM-based agents.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、より豊かな社会シミュレーションを可能にし、様々な社会現象の研究を可能にしている。
しかし、最近の研究は、これらのシミュレーション(例えば、すべてのインターロケータを生成するために単一のLSM)について、より完全な視点を用いている。
これらの違いを調べるために, 様々な環境下でのLLMとの社会的相互作用をシミュレートする評価フレームワークを開発した。
実験の結果,LLMは非現実的で全知的なシミュレーション環境では優れるが,情報非対称性で現実の状態をより正確に反映する環境では苦戦していることがわかった。
以上の結果から, 情報非対称性への対処は, LLMをベースとしたエージェントにとって依然として根本的な課題であることが示唆された。
関連論文リスト
- Cooperate or Collapse: Emergence of Sustainability Behaviors in a Society of LLM Agents [101.17919953243107]
本稿では,大規模言語モデル(LLM)における戦略的相互作用と協調的意思決定を研究するためのシミュレーションプラットフォームであるGovSimについて紹介する。
我々は,AIエージェント間の資源共有のダイナミクスを探求し,倫理的考察,戦略的計画,交渉スキルの重要性を強調した。
GovSimでは、15の試験されたLLMのうち、持続可能な結果を達成することができたのはわずか2つであり、モデルが共有リソースを管理する能力に重大なギャップがあることを示唆している。
論文 参考訳(メタデータ) (2024-04-25T15:59:16Z) - Are Large Language Models (LLMs) Good Social Predictors? [36.68104332805214]
本研究では,大規模言語モデル (LLM) が,ショートカットを伴わない一般的な入力機能を与えられた場合,社会的予測において期待通りに機能しないことを示す。
本稿では,実世界の社会学習環境の入力とシミュレートに一般的な特徴を利用する新しい社会予測タスクであるSoc-PRF予測を導入する。
論文 参考訳(メタデータ) (2024-02-20T00:59:22Z) - LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。
そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。
我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
論文 参考訳(メタデータ) (2024-02-13T19:46:39Z) - Self-Alignment of Large Language Models via Monopolylogue-based Social
Scene Simulation [46.11547254853924]
本稿では,ユーザの入力クエリを取り巻く現実的なシーンをエミュレートするソーシャルシーンシミュレータMATRIXを提案する。
推論速度を損なうことなく,MATRIX で LLM を微調整し,人間の値への付着性を確保する。
調整した13BサイズのLCMは、人間の値に合わせるとGPT-4を超えます。
論文 参考訳(メタデータ) (2024-02-08T14:21:03Z) - Systematic Biases in LLM Simulations of Debates [14.12892960275563]
本研究では,人間の相互作用をシミュレーションする際のLLM(Large Language Models)の限界を明らかにする。
以上の結果から,LLMエージェントが特定の政治的視点から議論される一方で,モデル固有の社会的バイアスに適合する傾向が示唆された。
この傾向は、人間の間で確立された社会的ダイナミクスから逸脱しているように見える行動パターンをもたらす。
論文 参考訳(メタデータ) (2024-02-06T14:51:55Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - LLM-Based Agent Society Investigation: Collaboration and Confrontation
in Avalon Gameplay [57.202649879872624]
Avalonのゲームプレイにシームレスに適応する新しいフレームワークを提案する。
提案するフレームワークの中核は,エージェント間の効率的な通信と対話を可能にするマルチエージェントシステムである。
本研究は,適応的かつインテリジェントなエージェントを生成する上で,我々のフレームワークの有効性を示すものである。
論文 参考訳(メタデータ) (2023-10-23T14:35:26Z) - CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations [61.9212914612875]
本研究では,LLMシミュレーションを4次元(コンテキスト,モデル,ペルソナ,トピック)で特徴付けるフレームワークを提案する。
我々は,この枠組みを用いて,オープンエンドLLMシミュレーションのキャラクチュアへの感受性を測定する。
GPT-4では、特定の人口動態(政治的・疎外化グループ)と話題(一般には非論争的)のシミュレーションは、似顔絵に非常に敏感であることが判明した。
論文 参考訳(メタデータ) (2023-10-17T18:00:25Z) - Training Socially Aligned Language Models on Simulated Social
Interactions [99.39979111807388]
AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。
現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。
本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-26T14:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。