論文の概要: Investigating Emergent Goal-Like Behaviour in Large Language Models
Using Experimental Economics
- arxiv url: http://arxiv.org/abs/2305.07970v1
- Date: Sat, 13 May 2023 17:23:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 18:30:59.686242
- Title: Investigating Emergent Goal-Like Behaviour in Large Language Models
Using Experimental Economics
- Title(参考訳): 実験経済学を用いた大規模言語モデルにおける創発的ゴール様行動の調査
- Authors: Steve Phelps and Yvan I. Russell
- Abstract要約: 社会ジレンマにおける協調的,競争的,利他的,利己的行動の自然言語記述を運用する大規模言語モデル(LLM)の能力について検討する。
我々の焦点は、非ゼロサム相互作用の古典的な例である反復された囚人のジレンマである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we investigate the capacity of large language models (LLMs),
specifically GPT-3.5, to operationalise natural language descriptions of
cooperative, competitive, altruistic, and self-interested behavior in social
dilemmas. Our focus is on the iterated Prisoner's Dilemma, a classic example of
a non-zero-sum interaction, but our broader research program encompasses a
range of experimental economics scenarios, including the ultimatum game,
dictator game, and public goods game. Using a within-subject experimental
design, we instantiated LLM-generated agents with various prompts that conveyed
different cooperative and competitive stances. We then assessed the agents'
level of cooperation in the iterated Prisoner's Dilemma, taking into account
their responsiveness to the cooperative or defection actions of their partners.
Our results provide evidence that LLMs can translate natural language
descriptions of altruism and selfishness into appropriate behaviour to some
extent, but exhibit limitations in adapting their behavior based on conditioned
reciprocity. The observed pattern of increased cooperation with defectors and
decreased cooperation with cooperators highlights potential constraints in the
LLM's ability to generalize its knowledge about human behavior in social
dilemmas. We call upon the research community to further explore the factors
contributing to the emergent behavior of LLM-generated agents in a wider array
of social dilemmas, examining the impact of model architecture, training
parameters, and various partner strategies on agent behavior. As more advanced
LLMs like GPT-4 become available, it is crucial to investigate whether they
exhibit similar limitations or are capable of more nuanced cooperative
behaviors, ultimately fostering the development of AI systems that better align
with human values and social norms.
- Abstract(参考訳): 本研究では,社会的ジレンマにおける協調的,競争的,利他的,利他的行動の自然言語記述を運用するための大規模言語モデル(llm)の能力,特にgpt-3.5について検討する。
我々の焦点は、非ゼロサム相互作用の古典的な例である反復囚人のジレンマであるが、我々の広範な研究プログラムは、最後通算ゲーム、独裁ゲーム、公共財ゲームを含む様々な実験経済シナリオを含んでいる。
実験では,様々なプロンプトを用いてllm生成エージェントをインスタンス化し,協調的および競争的スタンスを伝達した。
そこで我々は,囚人のジレンマを繰り返すエージェントの協力レベルを評価し,パートナーの協力行動や離脱行動に対する反応を考慮に入れた。
その結果、llmは利他主義と利己主義の自然言語記述をある程度適切な行動に翻訳できるが、条件付き相反性に基づく行動適応の限界が示された。
障害者との協力の増大と協力者の協力の減少が観察されたパターンは、社会ジレンマにおける人間の行動に関する知識を一般化するLLMの能力の潜在的な制約を強調している。
我々は,幅広い社会的ジレンマの中で,llm生成エージェントの創発的行動に寄与する要因について,研究コミュニティにさらなる検討を求め,モデルアーキテクチャ,トレーニングパラメータ,エージェント行動に対する様々なパートナー戦略の影響について検討する。
GPT-4のような先進的なLLMが利用可能になるにつれて、それらが類似した制限を示すか、より微妙な協調行動が可能かどうかを調査することが重要であり、最終的には人間の価値観や社会的規範に適合したAIシステムの開発を促進する。
関連論文リスト
- Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - Shall We Talk: Exploring Spontaneous Collaborations of Competing LLM
Agents [19.674533284592094]
大規模言語モデル(LLM)は,明示的な指示がなければ,自発的に協調関係を確立することができることを示す。
この発見は、人間社会における競争と協力を模倣するLLMエージェントの能力を示すものである。
LLMエージェントは、自発的なコラボレーションを含む、人間の社会的相互作用をモデル化するために使用できることを示唆している。
論文 参考訳(メタデータ) (2024-02-19T18:00:53Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - Do LLM Agents Exhibit Social Behavior? [6.018288992619851]
本研究では,Large Language Models (LLMs) がいかに社会的相互作用の原理を示すかを検討する。
分析の結果, LLMエージェントは, 多様な社会的行動を示すことが示唆された。
LLMは明らかに公正な好みを示し、正の相反性は弱く、社会学習において人間に比べてより計算的なアプローチを示す。
論文 参考訳(メタデータ) (2023-12-23T08:46:53Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - MetaAgents: Simulating Interactions of Human Behaviors for LLM-based
Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。
本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。
我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-10-10T10:17:58Z) - Evaluating Multi-Agent Coordination Abilities in Large Language Models [28.352480978451865]
大きな言語モデル(LLM)は、人間のような方法で言語を理解し、生成し、解釈する顕著な能力を持っている。
各種調整シナリオにおける LLM を用いたエージェントの有効性の構築と評価を行う。
論文 参考訳(メタデータ) (2023-10-05T21:18:15Z) - Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology
View [64.43238868957813]
本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。
我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。
以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T15:05:52Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model
Collaboration [88.3753421239906]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳(メタデータ) (2023-07-05T17:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。