論文の概要: Learning to Communicate Using Counterfactual Reasoning
- arxiv url: http://arxiv.org/abs/2006.07200v4
- Date: Tue, 26 Apr 2022 10:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 03:43:42.040311
- Title: Learning to Communicate Using Counterfactual Reasoning
- Title(参考訳): 対物推論によるコミュニケーションの学習
- Authors: Simon Vanneste, Astrid Vanneste, Kevin Mets, Tom De Schepper, Ali
Anwar, Siegfried Mercelis, Steven Latr\'e, Peter Hellinckx
- Abstract要約: 本稿では,Multi-agent counterfactual communication learning (MACC)法を提案する。
MACCは、通信エージェントの信用割当問題を克服するために、対実的推論に適応する。
実験の結果,MACCは粒子環境における4つのシナリオにおいて,最先端のベースラインよりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 2.8110705488739676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to communicate in order to share state information is an active
problem in the area of multi-agent reinforcement learning (MARL). The credit
assignment problem, the non-stationarity of the communication environment and
the creation of influenceable agents are major challenges within this research
field which need to be overcome in order to learn a valid communication
protocol. This paper introduces the novel multi-agent counterfactual
communication learning (MACC) method which adapts counterfactual reasoning in
order to overcome the credit assignment problem for communicating agents.
Secondly, the non-stationarity of the communication environment while learning
the communication Q-function is overcome by creating the communication
Q-function using the action policy of the other agents and the Q-function of
the action environment. Additionally, a social loss function is introduced in
order to create influenceable agents which is required to learn a valid
communication protocol. Our experiments show that MACC is able to outperform
the state-of-the-art baselines in four different scenarios in the Particle
environment.
- Abstract(参考訳): 状態情報を共有するためのコミュニケーションの学習は、マルチエージェント強化学習(marl)の分野では活発な問題である。
信用割当問題、通信環境の非定常性、影響力のあるエージェントの作成は、有効な通信プロトコルを学ぶために克服する必要があるこの研究分野における大きな課題である。
本稿では,コミュニケーションエージェントのクレジット代入問題を克服するために,対実的推論に適応する新しいマルチエージェント対実的コミュニケーション学習(MACC)手法を提案する。
第2に、他のエージェントのアクションポリシーとアクション環境のQ関数を用いて通信Q関数を作成することにより、通信Q関数を学習しながら通信環境の非定常性を克服する。
さらに、有効な通信プロトコルを学ぶために必要な影響力のあるエージェントを作成するために、社会的損失関数を導入する。
実験の結果, 粒子環境において, maccは4つの異なるシナリオにおいて最先端のベースラインを上回ることができることがわかった。
関連論文リスト
- Hypergame Theory for Decentralized Resource Allocation in Multi-user Semantic Communications [60.63472821600567]
マルチユーザSCシステムにおける分散コンピューティングと通信資源割り当てのための新しいフレームワークを提案する。
通信資源と計算資源を効率的に割り当てることの課題は、Stackelbergハイパーゲーム理論の適用によって解決される。
シミュレーションの結果,提案したStackelbergハイパーゲームは通信資源と計算資源を効率的に利用することができることがわかった。
論文 参考訳(メタデータ) (2024-09-26T15:55:59Z) - CAMEL: Communicative Agents for "Mind" Exploration of Large Language
Model Society [58.04479313658851]
本稿では,コミュニケーションエージェント間の自律的協調を支援するスケーラブルな手法の構築の可能性について検討する。
本稿では,ロールプレイングという新しいコミュニケーションエージェントフレームワークを提案する。
コントリビューションには、新しいコミュニケーティブエージェントフレームワークの導入、マルチエージェントシステムの協調行動や能力を研究するためのスケーラブルなアプローチの提供などが含まれます。
論文 参考訳(メタデータ) (2023-03-31T01:09:00Z) - AC2C: Adaptively Controlled Two-Hop Communication for Multi-Agent
Reinforcement Learning [4.884877440051105]
本稿では,AC2C(Adaptive Controlled Two-Hop Communication)と呼ばれる新しい通信プロトコルを提案する。
AC2Cは、エージェント間の長距離情報交換によるパフォーマンス向上を可能にするために、適応的な2ホップ通信戦略を採用している。
本稿では,3つの協調型マルチエージェントタスクにおけるAC2Cの評価を行った。
論文 参考訳(メタデータ) (2023-02-24T09:00:34Z) - Over-communicate no more: Situated RL agents learn concise communication
protocols [78.28898217947467]
互いに効果的に効率的にコミュニケーションできる人工エージェントをいかに設計するかは、不明である。
強化学習(RL)を用いたコミュニケーションの出現に関する研究
エージェントがコミュニケーションを行うための環境行為を強制しなければならない多段階タスクにおける位置的コミュニケーションについて検討する。
テストされたすべてのプレッシャーは過剰なコミュニケーションを阻害する可能性があるが、位置通信は最も効果的であり、努力のコストとは異なり、発生に悪影響を及ぼさない。
論文 参考訳(メタデータ) (2022-11-02T21:08:14Z) - Interpretation of Emergent Communication in Heterogeneous Collaborative
Embodied Agents [83.52684405389445]
本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。
この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。
視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。
創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
論文 参考訳(メタデータ) (2021-10-12T06:56:11Z) - Learning Selective Communication for Multi-Agent Path Finding [18.703918339797283]
決定因果通信(Decision Causal Communication、DCC)は、エージェントが隣人を選択して通信を行うためのシンプルで効率的なモデルである。
DCCは大規模問題を扱うために分散実行に適している。
論文 参考訳(メタデータ) (2021-09-12T03:07:20Z) - Effective Communications: A Joint Learning and Communication Framework
for Multi-Agent Reinforcement Learning over Noisy Channels [0.0]
コミュニケーションにおける「有効性問題」の新しい定式化を提案する。
コーディネーションと協調性を向上するために,複数のエージェントがノイズの多いチャネル上で通信することを検討する。
提案した枠組みを用いて学習した共同方針が,コミュニケーションが別々に考慮される場合よりも優れていることを例に示します。
論文 参考訳(メタデータ) (2021-01-02T10:43:41Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳(メタデータ) (2020-10-29T19:23:10Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2020-06-11T14:07:57Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。