論文の概要: Evaluating LLM Agent Group Dynamics against Human Group Dynamics: A Case
Study on Wisdom of Partisan Crowds
- arxiv url: http://arxiv.org/abs/2311.09665v1
- Date: Thu, 16 Nov 2023 08:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:48:10.369954
- Title: Evaluating LLM Agent Group Dynamics against Human Group Dynamics: A Case
Study on Wisdom of Partisan Crowds
- Title(参考訳): LLMエージェントグループダイナミクスの人間グループダイナミクスに対する評価 : 参加者の知恵を事例として
- Authors: Yun-Shiuan Chuang, Siddharth Suresh, Nikunj Harlalka, Agam Goyal,
Robert Hawkins, Sijia Yang, Dhavan Shah, Junjie Hu, Timothy T. Rogers
- Abstract要約: 本研究では,人間のグループ力学をシミュレートする大規模言語モデルの可能性について検討する。
我々は、民主党や共和党のペルソナとしてロールプレイするために、LSMを用いてパルチザン・群衆の知恵を再現する。
- 参考スコア(独自算出の注目度): 7.986590413263814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study investigates the potential of Large Language Models (LLMs) to
simulate human group dynamics, particularly within politically charged
contexts. We replicate the Wisdom of Partisan Crowds phenomenon using LLMs to
role-play as Democrat and Republican personas, engaging in a structured
interaction akin to human group study. Our approach evaluates how agents'
responses evolve through social influence. Our key findings indicate that LLM
agents role-playing detailed personas and without Chain-of-Thought (CoT)
reasoning closely align with human behaviors, while having CoT reasoning hurts
the alignment. However, incorporating explicit biases into agent prompts does
not necessarily enhance the wisdom of partisan crowds. Moreover, fine-tuning
LLMs with human data shows promise in achieving human-like behavior but poses a
risk of overfitting certain behaviors. These findings show the potential and
limitations of using LLM agents in modeling human group phenomena.
- Abstract(参考訳): 本研究では,大規模言語モデル(LLM)が,特に政治的に荷電した文脈において,人間のグループ力学をシミュレートする可能性について検討する。
我々は、LLMを用いてパルチザン集団の知恵を再現し、人間のグループ研究と似た構造的な相互作用を担いながら、民主党や共和党のペルソナとしての役割を演じる。
このアプローチは,エージェントの反応が社会的影響を通じてどのように進化するかを評価する。
重要な知見は, llmエージェントが詳細なペルソナをロールプレイし, チェーン・オブ・マインド(cot)の推論が人間の行動と密接に一致するのに対して, cot推論はアライメントを損なうことを示している。
しかし、エージェントプロンプトに明示的なバイアスを組み込むことは、必ずしもパルチザンの群衆の知恵を高めるものではない。
さらに、人間のデータによる微調整 LLM は、人間のような行動を達成することを約束するが、特定の行動に過度に適合するリスクがある。
これらの結果は,ヒト群現象のモデル化におけるllmエージェントの利用の可能性と限界を示している。
関連論文リスト
- RoleInteract: Evaluating the Social Interaction of Role-Playing Agents [85.6641890712617]
社会的相互作用の個人レベルとグループレベルの両方において、ロールプレイング・会話エージェントの社会的性を評価するために設計された最初のベンチマークを紹介する。
ベンチマークはさまざまなソースから構築され、500文字以上と6000以上の質問プロンプトをカバーする。
個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
論文 参考訳(メタデータ) (2024-03-20T15:38:36Z) - Can Large Language Model Agents Simulate Human Trust Behaviors? [75.69583811834073]
大規模言語モデル(LLM)エージェントは、社会科学などの応用において人間をモデル化するためのシミュレーションツールとして、ますます採用されている。
本稿では,人間同士のインタラクションや信頼の最も重要な行動の一つに焦点をあて,LLMエージェントが人間の信頼行動をシミュレートできるかどうかを検討する。
論文 参考訳(メタデータ) (2024-02-07T03:37:19Z) - Limits of Large Language Models in Debating Humans [0.0]
大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。
本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
論文 参考訳(メタデータ) (2024-02-06T03:24:27Z) - How Far Are We from Believable AI Agents? A Framework for Evaluating the
Believability of Human Behavior Simulation [49.1914375451351]
我々は,AIエージェントの信頼性を評価するための2つの指標,一貫性と堅牢性,およびベンチマークであるSimulateBenchを紹介する。
エージェント (i) が長文入力を提示した場合の文字情報の正確な描写に苦慮していること, (ii) プロファイルの摂動に対する脆弱性を示すこと, (iii) 全体としての信頼性に影響を及ぼす重要な要因に大きく影響していること,などが判明した。
論文 参考訳(メタデータ) (2023-12-28T16:51:11Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - Generative Language Models Exhibit Social Identity Biases [18.175179449419787]
我々は,51大言語モデルにおいて,社会科学の基本的な社会的バイアスである,集団内連帯性と集団外連帯性について検討する。
ほぼすべての基礎言語モデルといくつかの命令微調整モデルは、文の完全化を促すと、グループ内陽性およびグループ外陰性バイアスが明らかになる。
論文 参考訳(メタデータ) (2023-10-24T13:17:40Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Group Cohesion in Multi-Agent Scenarios as an Emergent Behavior [0.0]
本研究は,グループ・アフィリエイト,確実性,能力に対する本質的なニーズを持つインバインエージェントが,エージェント間の社会的行動の出現につながることを示す。
この行動は、グループ内のエージェントに対する利他主義と、グループ外のエージェントに対する敵対的な傾向を表現している。
論文 参考訳(メタデータ) (2022-11-03T18:37:05Z) - Self-supervised Social Relation Representation for Human Group Detection [18.38523753680367]
人間のグループ検出のための新しい2段階のマルチヘッドフレームワークを提案する。
第1段階では,人間行動シミュレーター・ヘッドを提案し,ソーシャル・リレーション・フィーチャの埋め込みを学習する。
第2段階では,社会関係の埋め込みに基づいて,人間集団検出のための自己注意型ネットワークを開発する。
論文 参考訳(メタデータ) (2022-03-08T04:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。