論文の概要: Non-local Policy Optimization via Diversity-regularized Collaborative
Exploration
- arxiv url: http://arxiv.org/abs/2006.07781v1
- Date: Sun, 14 Jun 2020 03:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 09:51:41.803428
- Title: Non-local Policy Optimization via Diversity-regularized Collaborative
Exploration
- Title(参考訳): 多様性規則化協調探索による非局所的政策最適化
- Authors: Zhenghao Peng, Hao Sun, Bolei Zhou
- Abstract要約: 多様性規則化協調探索(DiCE)と呼ばれる新しい非局所的政策最適化フレームワークを提案する。
DiCEは異種エージェントのグループを利用して環境を同時に探索し、収集した経験を共有する。
このフレームワークをオン・ポリティクスとオフ・ポリティクスの両方で実装し、実験結果から、DCEがベースラインよりも大幅に改善できることが示されている。
- 参考スコア(独自算出の注目度): 45.997521480637836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional Reinforcement Learning (RL) algorithms usually have one single
agent learning to solve the task independently. As a result, the agent can only
explore a limited part of the state-action space while the learned behavior is
highly correlated to the agent's previous experience, making the training prone
to a local minimum. In this work, we empower RL with the capability of teamwork
and propose a novel non-local policy optimization framework called
Diversity-regularized Collaborative Exploration (DiCE). DiCE utilizes a group
of heterogeneous agents to explore the environment simultaneously and share the
collected experiences. A regularization mechanism is further designed to
maintain the diversity of the team and modulate the exploration. We implement
the framework in both on-policy and off-policy settings and the experimental
results show that DiCE can achieve substantial improvement over the baselines
in the MuJoCo locomotion tasks.
- Abstract(参考訳): 従来の強化学習(RL)アルゴリズムは通常、タスクを独立して解くために単一のエージェント学習を持つ。
その結果、エージェントは状態-アクション空間の限られた部分のみを探索でき、学習された動作はエージェントの以前の経験と高い相関関係にあり、トレーニングをローカルな最小値にしやすくなる。
本研究では,チームワークの能力をrlに付与し,ダイバーシティ・レギュラライズド・コラボレーティブ・エクスプロレーション(dice)と呼ばれる新しい非局所政策最適化フレームワークを提案する。
DiCEは異種エージェントのグループを利用して環境を同時に探索し、収集した経験を共有する。
正規化メカニズムはさらにチームの多様性を維持し、探査を調整できるように設計されている。
このフレームワークをオン・ポリティクスとオフ・ポリティクスの両方で実装し,実験結果から,MuJoCoロコモーションタスクのベースラインよりも大幅に改善できることが示唆された。
関連論文リスト
- Quantifying Agent Interaction in Multi-agent Reinforcement Learning for
Cost-efficient Generalization [63.554226552130054]
マルチエージェント強化学習(MARL)における一般化の課題
エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。
与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
論文 参考訳(メタデータ) (2023-10-11T06:09:26Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳(メタデータ) (2023-03-24T15:12:28Z) - Hierarchical Reinforcement Learning with Opponent Modeling for
Distributed Multi-agent Cooperation [13.670618752160594]
深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。
従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。
効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-25T19:09:29Z) - Group-Agent Reinforcement Learning [12.915860504511523]
複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。
グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
論文 参考訳(メタデータ) (2022-02-10T16:40:59Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳(メタデータ) (2021-09-22T10:08:15Z) - Celebrating Diversity in Shared Multi-Agent Reinforcement Learning [20.901606233349177]
深層多エージェント強化学習は、複雑な協調的な課題を解決することを約束している。
本稿では,共有型マルチエージェント強化学習の最適化と表現に多様性を導入することを目的とする。
提案手法は,Google Research Footballと超硬度StarCraft IIマイクロマネジメントタスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2021-06-04T00:55:03Z) - Cooperative Heterogeneous Deep Reinforcement Learning [47.97582814287474]
異種エージェントの利点を統合することで政策を学習できる協調的異種深層強化学習フレームワークを提案する。
グローバルエージェント(Global agent)は、他のエージェントからの経験を活用できる非政治エージェントである。
ローカルエージェント(英: local agent)は、地域を効果的に探索できる、政治上のエージェントまたは人口ベースの進化的エージェントである。
論文 参考訳(メタデータ) (2020-11-02T07:39:09Z) - UneVEn: Universal Value Exploration for Multi-Agent Reinforcement
Learning [53.73686229912562]
我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。
UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。
一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
論文 参考訳(メタデータ) (2020-10-06T19:08:47Z) - Individual specialization in multi-task environments with multiagent
reinforcement learners [0.0]
汎用知的エージェント構築の第一歩として,マルチエージェント強化学習(MARL)への関心が高まっている。
以前の結果は、調整、効率/公平性、共有プールリソース共有の条件の増大を示唆している。
マルチタスク環境において、複数の報奨タスクを実行できるため、エージェントは必ずしも全てのタスクでうまく機能する必要はないが、特定の条件下では特殊化される可能性がある。
論文 参考訳(メタデータ) (2019-12-29T15:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。