論文の概要: Evaluating LLM Agent Group Dynamics against Human Group Dynamics: A Case Study on Wisdom of Partisan Crowds

• arxiv url: http://arxiv.org/abs/2311.09665v1
• Date: Thu, 16 Nov 2023 08:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:48:10.369954
• Title: Evaluating LLM Agent Group Dynamics against Human Group Dynamics: A Case Study on Wisdom of Partisan Crowds
• Title（参考訳）: LLMエージェントグループダイナミクスの人間グループダイナミクスに対する評価 : 参加者の知恵を事例として
• Authors: Yun-Shiuan Chuang, Siddharth Suresh, Nikunj Harlalka, Agam Goyal, Robert Hawkins, Sijia Yang, Dhavan Shah, Junjie Hu, Timothy T. Rogers
• Abstract要約: 本研究では,人間のグループ力学をシミュレートする大規模言語モデルの可能性について検討する。 我々は、民主党や共和党のペルソナとしてロールプレイするために、LSMを用いてパルチザン・群衆の知恵を再現する。
• 参考スコア（独自算出の注目度）: 7.986590413263814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the potential of Large Language Models (LLMs) to simulate human group dynamics, particularly within politically charged contexts. We replicate the Wisdom of Partisan Crowds phenomenon using LLMs to role-play as Democrat and Republican personas, engaging in a structured interaction akin to human group study. Our approach evaluates how agents' responses evolve through social influence. Our key findings indicate that LLM agents role-playing detailed personas and without Chain-of-Thought (CoT) reasoning closely align with human behaviors, while having CoT reasoning hurts the alignment. However, incorporating explicit biases into agent prompts does not necessarily enhance the wisdom of partisan crowds. Moreover, fine-tuning LLMs with human data shows promise in achieving human-like behavior but poses a risk of overfitting certain behaviors. These findings show the potential and limitations of using LLM agents in modeling human group phenomena.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)が,特に政治的に荷電した文脈において,人間のグループ力学をシミュレートする可能性について検討する。 我々は、LLMを用いてパルチザン集団の知恵を再現し、人間のグループ研究と似た構造的な相互作用を担いながら、民主党や共和党のペルソナとしての役割を演じる。 このアプローチは,エージェントの反応が社会的影響を通じてどのように進化するかを評価する。 重要な知見は, llmエージェントが詳細なペルソナをロールプレイし, チェーン・オブ・マインド(cot)の推論が人間の行動と密接に一致するのに対して, cot推論はアライメントを損なうことを示している。 しかし、エージェントプロンプトに明示的なバイアスを組み込むことは、必ずしもパルチザンの群衆の知恵を高めるものではない。 さらに、人間のデータによる微調整 LLM は、人間のような行動を達成することを約束するが、特定の行動に過度に適合するリスクがある。 これらの結果は,ヒト群現象のモデル化におけるllmエージェントの利用の可能性と限界を示している。

関連論文リスト

• The Dynamics of Social Conventions in LLM populations: Spontaneous Emergence, Collective Biases and Tipping Points [0.0]
  シミュレーション対話を用いたLarge Language Model (LLM) エージェントの集団内におけるコンベンションのダイナミクスについて検討する。 グローバルに受け入れられる社会慣行は,LLM間の局所的な相互作用から自然に生じうることを示す。 献身的なLLMのマイノリティグループは、新しい社会慣習を確立することで社会変革を促進することができる。
  論文  参考訳（メタデータ） (2024-10-11T16:16:38Z)
• Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks [5.76230391989518]
  人間の調査から得られたデータを用いて,9つの非重複要因に64のトピックをロードする信念ネットワークを推定した。 次に, LLMをベースとしたエージェントを1つのトピックに対する意見付きでシードし, 残りのテストトピックと対応する人的データとのアライメントについて, その表現された意見のアライメントを評価した。 人口統計情報のみに基づくロールプレイングはLLMと人的意見の一致はしなかったが、エージェントを単一の信念でシードすることで、ネットワーク外のトピックではなく、信念ネットワークに関連するトピックのアライメントを大幅に改善した。
  論文  参考訳（メタデータ） (2024-06-25T02:37:29Z)
• Evaluating Large Language Model Biases in Persona-Steered Generation [26.92498998306013]
  大規模な言語モデル (LLM) は、不連続な人格に対して、連続した人格よりも9.7%少ないことが示される。 強化学習(Reinforcement Learning from Human Feedback, RLHF)により微調整されたモデルは、特に政治的リベラル派や女性に関連するスタンスに対して、より安定している。
  論文  参考訳（メタデータ） (2024-05-30T17:06:03Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• Can Large Language Model Agents Simulate Human Trust Behavior? [81.45930976132203]
  本研究では,Large Language Model (LLM) エージェントが人間の信頼行動をシミュレートできるかどうかを検討する。 GPT-4は、信頼行動の観点から、人間と高い行動アライメントを示す。 また、エージェント信頼のバイアスや、他のLSMエージェントや人間に対するエージェント信頼の差についても検討する。
  論文  参考訳（メタデータ） (2024-02-07T03:37:19Z)
• Limits of Large Language Models in Debating Humans [0.0]
  大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。 本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
  論文  参考訳（メタデータ） (2024-02-06T03:24:27Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。