論文の概要: Evaluating Multi-Agent Coordination Abilities in Large Language Models
- arxiv url: http://arxiv.org/abs/2310.03903v1
- Date: Thu, 5 Oct 2023 21:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 06:23:21.145695
- Title: Evaluating Multi-Agent Coordination Abilities in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるマルチエージェント協調能力の評価
- Authors: Saaket Agashe, Yue Fan, Xin Eric Wang
- Abstract要約: 大きな言語モデル(LLM)は、人間のような方法で言語を理解し、生成し、解釈する顕著な能力を持っている。
各種調整シナリオにおける LLM を用いたエージェントの有効性の構築と評価を行う。
- 参考スコア(独自算出の注目度): 28.352480978451865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A pivotal aim in contemporary AI research is to develop agents proficient in
multi-agent coordination, enabling effective collaboration with both humans and
other systems. Large Language Models (LLMs), with their notable ability to
understand, generate, and interpret language in a human-like manner, stand out
as promising candidates for the development of such agents. In this study, we
build and assess the effectiveness of agents crafted using LLMs in various
coordination scenarios. We introduce the LLM-Coordination (LLM-Co) Framework,
specifically designed to enable LLMs to play coordination games. With the
LLM-Co framework, we conduct our evaluation with three game environments and
organize the evaluation into five aspects: Theory of Mind, Situated Reasoning,
Sustained Coordination, Robustness to Partners, and Explicit Assistance. First,
the evaluation of the Theory of Mind and Situated Reasoning reveals the
capabilities of LLM to infer the partner's intention and reason actions
accordingly. Then, the evaluation around Sustained Coordination and Robustness
to Partners further showcases the ability of LLMs to coordinate with an unknown
partner in complex long-horizon tasks, outperforming Reinforcement Learning
baselines. Lastly, to test Explicit Assistance, which refers to the ability of
an agent to offer help proactively, we introduce two novel layouts into the
Overcooked-AI benchmark, examining if agents can prioritize helping their
partners, sacrificing time that could have been spent on their tasks. This
research underscores the promising capabilities of LLMs in sophisticated
coordination environments and reveals the potential of LLMs in building strong
real-world agents for multi-agent coordination.
- Abstract(参考訳): 現代のai研究の重要な目的は、マルチエージェント協調に熟練したエージェントを開発し、人間と他のシステムとの効果的なコラボレーションを可能にすることである。
言語を人間のような方法で理解し、生成し、解釈する能力を持つ大規模言語モデル(llm)は、そのようなエージェントの開発に有望な候補として際立っている。
本研究では, 様々な調整シナリオにおいて, LLMを用いたエージェントの有効性を構築し, 評価する。
LLM-Coordination (LLM-Co) Frameworkを導入する。
llm-coフレームワークでは,3つのゲーム環境を用いて評価を行い,心の理論,位置推論,継続協調,パートナーに対する堅牢性,明示的な支援という5つの側面に評価を整理する。
第一に、心の理論と感性推論の評価は、LLMがパートナーの意図や理性的な行動を推論する能力を明らかにする。
そして、パートナーに対する継続的な調整と堅牢性に関する評価は、強化学習ベースラインよりも優れた、複雑なロングホライゾンタスクにおいて未知のパートナーと協調するllmの能力を示す。
最後に、エージェントが積極的に助けを提供する能力を示す明示的な支援をテストするために、過剰調理されたaiベンチマークに2つの新しいレイアウトを導入し、エージェントがパートナーを助けるのを優先できるかどうかを調べ、タスクに費やされた時間を犠牲にする。
本研究は、高度調整環境におけるLLMの有望な能力と、マルチエージェント協調のための強力な現実世界エージェント構築におけるLLMの可能性を明らかにする。
関連論文リスト
- Pragmatic Instruction Following and Goal Assistance via Cooperative
Language-Guided Inverse Planning [52.91457780361305]
本稿では,協調型言語誘導逆計画探索(CLIPS)を紹介する。
我々のエージェントは、協力的なプランナーとして人間をモデル化し、アシスタントに共同計画を伝える。
2つの協調計画領域(ドア,キー&ジェム,バーチャルホーム)におけるこれらの機能の評価
論文 参考訳(メタデータ) (2024-02-27T23:06:53Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Theory of Mind for Multi-Agent Collaboration via Large Language Models [5.541408924345408]
本研究では,多エージェント協調型テキストゲームにおけるLarge Language Models (LLMs) ベースのエージェントを,理論オブマインド (ToM) 推論タスクを用いて評価する。
LLMをベースとしたエージェント間の創発的協調行動と高次マインド理論の実証を行った。
論文 参考訳(メタデータ) (2023-10-16T07:51:19Z) - MetaAgents: Simulating Interactions of Human Behaviors for LLM-based
Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。
本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。
我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-10-10T10:17:58Z) - Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology
View [64.43238868957813]
本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。
我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。
以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T15:05:52Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model
Collaboration [88.3753421239906]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳(メタデータ) (2023-07-05T17:59:27Z) - Investigating Emergent Goal-Like Behaviour in Large Language Models
Using Experimental Economics [0.0]
社会ジレンマにおける協調的,競争的,利他的,利己的行動の自然言語記述を運用する大規模言語モデル(LLM)の能力について検討する。
我々の焦点は、非ゼロサム相互作用の古典的な例である反復された囚人のジレンマである。
論文 参考訳(メタデータ) (2023-05-13T17:23:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。