論文の概要: Settling Decentralized Multi-Agent Coordinated Exploration by Novelty Sharing

• arxiv url: http://arxiv.org/abs/2402.02097v1
• Date: Sat, 3 Feb 2024 09:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:17:32.213650
• Title: Settling Decentralized Multi-Agent Coordinated Exploration by Novelty Sharing
• Title（参考訳）: 新規共有による分散多エージェント協調探索の確立
• Authors: Haobin Jiang, Ziluo Ding, Zongqing Lu
• Abstract要約: 単純で効果的なマルチエージェント協調探索法である MACE を提案する。 エージェントはローカルノベルティのみを通信することで、他のエージェントのローカルノベルティを考慮し、グローバルノベルティを近似することができる。 MACEはスパース報酬を伴う3つのマルチエージェント環境において優れた性能を示す。
• 参考スコア（独自算出の注目度）: 38.54917649511076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration in decentralized cooperative multi-agent reinforcement learning faces two challenges. One is that the novelty of global states is unavailable, while the novelty of local observations is biased. The other is how agents can explore in a coordinated way. To address these challenges, we propose MACE, a simple yet effective multi-agent coordinated exploration method. By communicating only local novelty, agents can take into account other agents' local novelty to approximate the global novelty. Further, we newly introduce weighted mutual information to measure the influence of one agent's action on other agents' accumulated novelty. We convert it as an intrinsic reward in hindsight to encourage agents to exert more influence on other agents' exploration and boost coordinated exploration. Empirically, we show that MACE achieves superior performance in three multi-agent environments with sparse rewards.
• Abstract（参考訳）: 分散協調型マルチエージェント強化学習の探索には2つの課題がある。 一つは、世界国家の新規性は利用できないが、局所的な観察の新規性は偏っていることである。 もうひとつは、エージェントが協調的に探索する方法です。 これらの課題に対処するために, 単純で効果的なマルチエージェント協調探索法である MACE を提案する。 ローカルノベルティのみを通信することで、エージェントは他のエージェントのローカルノベルティを考慮してグローバルノベルティを近似することができる。 さらに,重み付き相互情報を導入して,あるエージェントの作用が他のエージェントの蓄積した新規性に与える影響を計測した。 我々は、エージェントが他のエージェントの探索により多くの影響を与えるよう奨励し、協調した探索を促進するために、後見において本質的な報酬として変換する。 実験により, MACEは, スパース報酬を伴う3つのマルチエージェント環境において, 優れた性能を発揮することを示す。

関連論文リスト

• Self-Motivated Multi-Agent Exploration [38.55811936029999]
  協調型マルチエージェント強化学習(CMARL)では,エージェントが自己探索とチームコラボレーションのバランスをとることが重要である。 近年の研究は主にエージェントの協調探索に焦点が当てられ、州空間の指数的に成長した探索をもたらした。 我々は,自己探索とチーム協力のトレードオフを適応的に見つけることで,チームのタスクの成功を目指す,自己運動型マルチエージェント探索(SMMAE)を提案する。
  論文  参考訳（メタデータ） (2023-01-05T14:42:39Z)
• Curiosity-Driven Multi-Agent Exploration with Mixed Objectives [7.247148291603988]
  単エージェント強化学習におけるスパース報酬問題を軽減するために、本質的な報酬がますます利用されてきた。 好奇心駆動探索(英: Curiosity-driven exploration)は、エージェントの好奇心モジュールの予測誤差としてこの新規性を定量化する、単純で効率的なアプローチである。 しかし, この好奇心を駆使して, スパース報酬協調型マルチエージェント環境における探索をガイドする手法は, 常に改善に繋がらないことを示す。
  論文  参考訳（メタデータ） (2022-10-29T02:45:38Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• MUI-TARE: Multi-Agent Cooperative Exploration with Unknown Initial Position [12.921108151387696]
  サブマップマージプロセスの品質指標に基づくライダーベースのマルチエージェント探索のための新しいアプローチを開発した。 我々のアプローチは、平均的なベースラインよりも50%効率が良く、サブマップをしっかりとマージする。
  論文  参考訳（メタデータ） (2022-09-22T04:33:02Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• Cooperative Heterogeneous Deep Reinforcement Learning [47.97582814287474]
  異種エージェントの利点を統合することで政策を学習できる協調的異種深層強化学習フレームワークを提案する。 グローバルエージェント(Global agent)は、他のエージェントからの経験を活用できる非政治エージェントである。 ローカルエージェント(英: local agent)は、地域を効果的に探索できる、政治上のエージェントまたは人口ベースの進化的エージェントである。
  論文  参考訳（メタデータ） (2020-11-02T07:39:09Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。