論文の概要: Verco: Learning Coordinated Verbal Communication for Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2404.17780v1
- Date: Sat, 27 Apr 2024 05:10:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 19:20:56.671648
- Title: Verco: Learning Coordinated Verbal Communication for Multi-agent Reinforcement Learning
- Title（参考訳）: Verco:マルチエージェント強化学習のための学習協調型言語コミュニケーション
- Authors: Dapeng Li, Hang Dong, Lu Wang, Bo Qiao, Si Qin, Qingwei Lin, Dongmei Zhang, Qi Zhang, Zhiwei Xu, Bin Zhang, Guoliang Fan,
- Abstract要約: 本稿では,大規模言語モデルをエージェントに組み込むマルチエージェント強化学習アルゴリズムを提案する。
フレームワークにはメッセージモジュールとアクションモジュールがある。
オーバークッキングゲームで行った実験は,既存の手法の学習効率と性能を大幅に向上させることを示した。
- 参考スコア（独自算出の注目度）: 42.27106057372819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, multi-agent reinforcement learning algorithms have made significant advancements in diverse gaming environments, leading to increased interest in the broader application of such techniques. To address the prevalent challenge of partial observability, communication-based algorithms have improved cooperative performance through the sharing of numerical embedding between agents. However, the understanding of the formation of collaborative mechanisms is still very limited, making designing a human-understandable communication mechanism a valuable problem to address. In this paper, we propose a novel multi-agent reinforcement learning algorithm that embeds large language models into agents, endowing them with the ability to generate human-understandable verbal communication. The entire framework has a message module and an action module. The message module is responsible for generating and sending verbal messages to other agents, effectively enhancing information sharing among agents. To further enhance the message module, we employ a teacher model to generate message labels from the global view and update the student model through Supervised Fine-Tuning (SFT). The action module receives messages from other agents and selects actions based on current local observations and received messages. Experiments conducted on the Overcooked game demonstrate our method significantly enhances the learning efficiency and performance of existing methods, while also providing an interpretable tool for humans to understand the process of multi-agent cooperation.
- Abstract（参考訳）: 近年,多エージェント強化学習アルゴリズムは多様なゲーム環境において大きな進歩を遂げており,より広範な応用への関心が高まっている。
部分観測可能性の課題に対処するため、通信ベースのアルゴリズムはエージェント間の数値埋め込みを共有することで協調性能を改善した。
しかし、協調機構の形成に関する理解は依然として極めて限られており、人間に理解可能なコミュニケーション機構を設計することが問題となる。
本稿では,大規模言語モデルをエージェントに組み込んだ多エージェント強化学習アルゴリズムを提案する。
フレームワーク全体にはメッセージモジュールとアクションモジュールがある。
メッセージモジュールは、他のエージェントに言語メッセージを生成し送信し、エージェント間の情報共有を効果的に強化する。
メッセージモジュールをさらに強化するために、教師モデルを用いて、グローバルビューからメッセージラベルを生成し、教師モデル(Supervised Fine-Tuning,SFT)を通じて生徒モデルを更新する。
アクションモジュールは、他のエージェントからメッセージを受け取り、現在のローカル観測と受信メッセージに基づいてアクションを選択する。
オーバークッキングゲームで行った実験では,既存の手法の学習効率と性能を大幅に向上させるとともに,マルチエージェント協調のプロセスを理解するための解釈可能なツールも提供する。
関連論文リスト
- Learning Multi-Agent Communication from Graph Modeling Perspective [62.13508281188895]
本稿では,エージェント間の通信アーキテクチャを学習可能なグラフとして概念化する手法を提案する。
提案手法であるCommFormerは,通信グラフを効率よく最適化し,勾配降下によるアーキテクチャパラメータをエンドツーエンドで並列に洗練する。
論文 参考訳（メタデータ） (2024-05-14T12:40:25Z) - Progressively Efficient Learning [58.6490456517954]
我々はCEIL(Communication-Efficient Interactive Learning)という新しい学習フレームワークを開発した。
CEILは、学習者と教師がより抽象的な意図を交換することで効率的にコミュニケーションする人間のようなパターンの出現につながる。
CEILで訓練されたエージェントは、新しいタスクを素早く習得し、非階層的で階層的な模倣学習を、絶対的な成功率で最大50%、20%上回った。
論文 参考訳（メタデータ） (2023-10-13T07:52:04Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳（メタデータ） (2023-07-05T17:59:27Z) - CAMEL: Communicative Agents for "Mind" Exploration of Large Language
Model Society [58.04479313658851]
本稿では,コミュニケーションエージェント間の自律的協調を支援するスケーラブルな手法の構築の可能性について検討する。
本稿では,ロールプレイングという新しいコミュニケーションエージェントフレームワークを提案する。
コントリビューションには、新しいコミュニケーティブエージェントフレームワークの導入、マルチエージェントシステムの協調行動や能力を研究するためのスケーラブルなアプローチの提供などが含まれます。
論文 参考訳（メタデータ） (2023-03-31T01:09:00Z) - Efficient Communication via Self-supervised Information Aggregation for
Online and Offline Multi-agent Reinforcement Learning [12.334522644561591]
MARL(Multi-Agent Reinforcement Learning)の協調学習において,効率的なメッセージアグリゲーションは協調に不可欠である,と我々は主張する。
本稿では, エージェントが受信したメッセージをコンパクトな表現に集約し, ローカルポリシーの強化に高い関連性を持たせることができる, 自己教師型情報集約(MASIA)によるマルチエージェント通信を提案する。
私たちはマルチエージェント通信のためのオフラインベンチマークを構築しています。
論文 参考訳（メタデータ） (2023-02-19T16:02:16Z) - Learning to Infer Belief Embedded Communication [9.862909791015237]
本稿ではエージェントの言語学習能力を模倣する新しいアルゴリズムを提案する。
過去の行動に対応する他のエージェントの意図を復号するための知覚モジュールを含んでいる。
また、2つ以上のエージェントとの通信中に暗黙の文法を学ぶための言語生成モジュールも含まれている。
論文 参考訳（メタデータ） (2022-03-15T12:42:10Z) - Learning Emergent Discrete Message Communication for Cooperative
Reinforcement Learning [36.468498804251574]
離散メッセージ通信は連続メッセージ通信に匹敵する性能を有することを示す。
エージェントに離散的なメッセージを対話的に送信できるアプローチを提案します。
論文 参考訳（メタデータ） (2021-02-24T20:44:14Z) - The Emergence of Adversarial Communication in Multi-Agent Reinforcement
Learning [6.18778092044887]
多くの現実世界の問題は、複数の自律エージェントの調整を必要とする。
最近の研究は、複雑なマルチエージェント協調を可能にする明示的なコミュニケーション戦略を学ぶためのグラフニューラルネットワーク(GNN)の約束を示している。
一つの利己的なエージェントが高度に操作的なコミュニケーション戦略を学習し、協調的なエージェントチームを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2020-08-06T12:48:08Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2020-06-11T14:07:57Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。