論文の概要: Cooperative Heterogeneous Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2011.00791v1
• Date: Mon, 2 Nov 2020 07:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 11:04:05.154066
• Title: Cooperative Heterogeneous Deep Reinforcement Learning
• Title（参考訳）: 協調型深層強化学習
• Authors: Han Zheng, Pengfei Wei, Jing Jiang, Guodong Long, Qinghua Lu, Chengqi Zhang
• Abstract要約: 異種エージェントの利点を統合することで政策を学習できる協調的異種深層強化学習フレームワークを提案する。 グローバルエージェント(Global agent)は、他のエージェントからの経験を活用できる非政治エージェントである。 ローカルエージェント(英: local agent)は、地域を効果的に探索できる、政治上のエージェントまたは人口ベースの進化的エージェントである。
• 参考スコア（独自算出の注目度）: 47.97582814287474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous deep reinforcement learning agents have been proposed, and each of them has its strengths and flaws. In this work, we present a Cooperative Heterogeneous Deep Reinforcement Learning (CHDRL) framework that can learn a policy by integrating the advantages of heterogeneous agents. Specifically, we propose a cooperative learning framework that classifies heterogeneous agents into two classes: global agents and local agents. Global agents are off-policy agents that can utilize experiences from the other agents. Local agents are either on-policy agents or population-based evolutionary algorithms (EAs) agents that can explore the local area effectively. We employ global agents, which are sample-efficient, to guide the learning of local agents so that local agents can benefit from sample-efficient agents and simultaneously maintain their advantages, e.g., stability. Global agents also benefit from effective local searches. Experimental studies on a range of continuous control tasks from the Mujoco benchmark show that CHDRL achieves better performance compared with state-of-the-art baselines.
• Abstract（参考訳）: 多くの深層強化学習エージェントが提案されており、それぞれに強みと欠陥がある。 本研究では、異種エージェントの利点を統合することで、政策を学習できる協調的異種深層強化学習(CHDRL)フレームワークを提案する。 具体的には、異種エージェントをグローバルエージェントとローカルエージェントの2つのクラスに分類する協調学習フレームワークを提案する。 グローバルエージェントは、他のエージェントの経験を活用できるオフポリシーエージェントである。 ローカルエージェントは、オンポリシーエージェントまたは人口ベースの進化アルゴリズム(eas)エージェントであり、効果的に地域を探索することができる。 我々は,局所エージェントの学習を導くために,サンプル効率のよいグローバルエージェントを用いて,サンプル効率のよいエージェントのメリットを享受し,そのメリット,例えば安定性を同時に維持する。 グローバルエージェントは効果的なローカル検索の恩恵を受ける。 mujocoベンチマークによる一連の連続制御タスクに関する実験的研究は、chdrlが最先端のベースラインよりも優れたパフォーマンスを達成していることを示している。

関連論文リスト

• Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey [48.77342627610471]
  協調型マルチエージェント強化学習は多くの実世界の協調作業を解決する強力なツールである。 完全に分散した環境で最適な共同政策に収束できるアルゴリズムを導出することは困難である。
  論文  参考訳（メタデータ） (2024-01-10T05:07:42Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• Group-Agent Reinforcement Learning [12.915860504511523]
  複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。 グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
  論文  参考訳（メタデータ） (2022-02-10T16:40:59Z)
• A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning [1.14219428942199]
  本稿では,グローバルNNとローカルNNを併用した新しいDeep Neural Network(DNN)アーキテクチャと,分散トレーニングフレームワークを提案する。 我々は、グローバルウェイトを全ての協力者エージェントによって更新することを可能にし、一方、ローカルウェイトは彼らが属するエージェントによってのみ更新される。 実験によると、このフレームワークは、同一または類似の環境のエージェントがトレーニングプロセスで協力し、より高い収束率とより良いパフォーマンスを得るのに効率的に役立つ。
  論文  参考訳（メタデータ） (2021-09-30T10:53:34Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Non-local Policy Optimization via Diversity-regularized Collaborative Exploration [45.997521480637836]
  多様性規則化協調探索(DiCE)と呼ばれる新しい非局所的政策最適化フレームワークを提案する。 DiCEは異種エージェントのグループを利用して環境を同時に探索し、収集した経験を共有する。 このフレームワークをオン・ポリティクスとオフ・ポリティクスの両方で実装し、実験結果から、DCEがベースラインよりも大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2020-06-14T03:31:11Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。