Fugu-MT 論文翻訳(概要): Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning

論文の概要: Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2006.07169v4
Date: Wed, 19 May 2021 11:13:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 04:45:09.000436
Title: Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
Title（参考訳）: マルチエージェント強化学習のための共有体験アクタクリティカル
Authors: Filippos Christianos, Lukas Sch\"afer, Stefano V. Albrecht
Abstract要約: 提案アルゴリズムはSEAC (Shared Experience Actor-Critic) と呼ばれ,アクター・クリティカル・フレームワークに経験共有を適用した。スパース・リワード型マルチエージェント環境におけるSEACの評価を行い、2つのベースラインと2つの最先端アルゴリズムを一貫して上回っていることを確認した。
参考スコア（独自算出の注目度）: 11.292086312664383
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Exploration in multi-agent reinforcement learning is a challenging problem, especially in environments with sparse rewards. We propose a general method for efficient exploration by sharing experience amongst agents. Our proposed algorithm, called Shared Experience Actor-Critic (SEAC), applies experience sharing in an actor-critic framework. We evaluate SEAC in a collection of sparse-reward multi-agent environments and find that it consistently outperforms two baselines and two state-of-the-art algorithms by learning in fewer steps and converging to higher returns. In some harder environments, experience sharing makes the difference between learning to solve the task and not learning at all.
Abstract（参考訳）: マルチエージェント強化学習における探索は、特にスパース報酬のある環境では難しい問題である。本稿では,エージェント間の経験共有による効率的な探索法を提案する。提案アルゴリズムはSEAC(Shared Experience Actor-Critic)と呼ばれ,アクター・クリティカルな枠組みで経験を共有する。スパース逆マルチエージェント環境の集合においてSEACを評価し、より少ないステップで学習し、より高いリターンに収束することで、2つのベースラインと2つの最先端アルゴリズムを一貫して上回ります。難しい環境では、経験を共有することは、タスクを解決するための学習と、まったく学習しないことの違いをもたらす。

関連論文リスト

CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
論文参考訳（メタデータ） (2024-10-22T03:59:53Z)
MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure [37.56309011441144]
本稿では,協調型マルチエージェント学習のためのメタ探索手法であるMESAを紹介する。エージェントはまず、訓練タスクからエージェントの高度に反転する状態-行動サブスペースを識別し、次にサブスペースを"探索する"ための多様な探索ポリシーのセットを学ぶことで探索を学ぶ。実験の結果,多エージェント粒子環境とマルチエージェント MuJoCo 環境におけるスパース・リワードタスクにおいて,MESA は学習された探索ポリシにより,大幅な性能向上を実現していることがわかった。
論文参考訳（メタデータ） (2024-05-01T23:19:48Z)
Sharing Knowledge in Multi-Task Deep Reinforcement Learning [57.38874587065694]
マルチタスク強化学習において、ディープニューラルネットワークを効果的に活用するためのタスク間の表現の共有の利点について検討する。我々は,タスク間で表現を共有するのに便利な条件を強調する理論的保証を提供することで,これを証明している。
論文参考訳（メタデータ） (2024-01-17T19:31:21Z)
Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文参考訳（メタデータ） (2023-03-24T15:12:28Z)
Learning from Multiple Independent Advisors in Multi-agent Reinforcement Learning [15.195932300563541]
本稿では,マルチエージェント強化学習において,複数の独立アドバイザから同時に学習することの課題について考察する。我々は、各州におけるアドバイザーを評価し、その後、アドバイザーを使用して行動選択をガイドすることで、アドバイザーの集合を組み込んだ原則付きアルゴリズムを提供する。
論文参考訳（メタデータ） (2023-01-26T15:00:23Z)
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
論文参考訳（メタデータ） (2021-07-23T20:06:32Z)
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning [20.901606233349177]
深層多エージェント強化学習は、複雑な協調的な課題を解決することを約束している。本稿では,共有型マルチエージェント強化学習の最適化と表現に多様性を導入することを目的とする。提案手法は,Google Research Footballと超硬度StarCraft IIマイクロマネジメントタスクにおける最先端性能を実現する。
論文参考訳（メタデータ） (2021-06-04T00:55:03Z)
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
論文参考訳（メタデータ） (2020-06-17T15:38:40Z)
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks [11.480994804659908]
マルチエージェント深部強化学習(MARL)は、一般的に使われている評価課題や基準の欠如に悩まされている。我々は,MARLアルゴリズムの3つのクラスを体系的に評価し,比較する。我々の実験は、異なる学習課題におけるアルゴリズムの期待性能の基準として機能する。
論文参考訳（メタデータ） (2020-06-14T11:22:53Z)
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration [45.997521480637836]
多様性規則化協調探索(DiCE)と呼ばれる新しい非局所的政策最適化フレームワークを提案する。 DiCEは異種エージェントのグループを利用して環境を同時に探索し、収集した経験を共有する。このフレームワークをオン・ポリティクスとオフ・ポリティクスの両方で実装し、実験結果から、DCEがベースラインよりも大幅に改善できることが示されている。
論文参考訳（メタデータ） (2020-06-14T03:31:11Z)
Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
論文参考訳（メタデータ） (2020-02-14T13:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。