Fugu-MT 論文翻訳(概要): Individual Contributions as Intrinsic Exploration Scaffolds for Multi-agent Reinforcement Learning

論文の概要: Individual Contributions as Intrinsic Exploration Scaffolds for Multi-agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2405.18110v1
Date: Tue, 28 May 2024 12:18:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 18:48:53.600625
Title: Individual Contributions as Intrinsic Exploration Scaffolds for Multi-agent Reinforcement Learning
Title（参考訳）: マルチエージェント強化学習における固有の探索課題としての個人貢献
Authors: Xinran Li, Zifan Liu, Shibo Chen, Jun Zhang,
Abstract要約: 固有探査スカッフルド(ICES)としての個人貢献 ICESは、グローバルな視点から各エージェントの貢献を評価することによって、探索を動機付ける新しいアプローチである。 Google Research Football (GRF) や StarCraft Multi-agent Challenge (SMAC) など,まばらな報酬を伴う協調型ベンチマークタスクの実験
参考スコア（独自算出の注目度）: 9.448662880144845
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In multi-agent reinforcement learning (MARL), effective exploration is critical, especially in sparse reward environments. Although introducing global intrinsic rewards can foster exploration in such settings, it often complicates credit assignment among agents. To address this difficulty, we propose Individual Contributions as intrinsic Exploration Scaffolds (ICES), a novel approach to motivate exploration by assessing each agent's contribution from a global view. In particular, ICES constructs exploration scaffolds with Bayesian surprise, leveraging global transition information during centralized training. These scaffolds, used only in training, help to guide individual agents towards actions that significantly impact the global latent state transitions. Additionally, ICES separates exploration policies from exploitation policies, enabling the former to utilize privileged global information during training. Extensive experiments on cooperative benchmark tasks with sparse rewards, including Google Research Football (GRF) and StarCraft Multi-agent Challenge (SMAC), demonstrate that ICES exhibits superior exploration capabilities compared with baselines. The code is publicly available at https://github.com/LXXXXR/ICES.
Abstract（参考訳）: マルチエージェント強化学習(MARL)では,特にスパース報酬環境において,効果的な探索が重要である。グローバルな本質的な報酬の導入は、そのような環境での探索を促進することができるが、エージェント間のクレジット割り当てを複雑にすることが多い。この課題に対処するため,各エージェントの貢献度をグローバルな視点から評価し,探索を動機づける新たなアプローチであるICES(Intrinsic Exploration Scaffolds)を提案する。特に、ICESはベイジアン・サプライズによる探検用足場を構築し、集中トレーニング中にグローバルな遷移情報を活用する。これらの足場は訓練でのみ使用され、グローバルな潜伏状態遷移に大きな影響を及ぼすアクションへ個々のエージェントを誘導するのに役立つ。さらに、ICESは、エクスプロイトポリシーとエクスプロイトポリシーを分離し、前者がトレーニング中に特権付きグローバル情報を利用することを可能にする。 Google Research Football (GRF) や StarCraft Multi-agent Challenge (SMAC) など、粗末な報酬を伴う協調ベンチマークタスクに関する大規模な実験は、ICESがベースラインよりも優れた探索能力を示していることを実証している。コードはhttps://github.com/LXXXXR/ICESで公開されている。

関連論文リスト

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization [91.80034860399677]
強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
論文参考訳（メタデータ） (2024-12-16T18:59:53Z)
Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
論文参考訳（メタデータ） (2024-07-18T17:55:22Z)
MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure [37.56309011441144]
本稿では,協調型マルチエージェント学習のためのメタ探索手法であるMESAを紹介する。エージェントはまず、訓練タスクからエージェントの高度に反転する状態-行動サブスペースを識別し、次にサブスペースを"探索する"ための多様な探索ポリシーのセットを学ぶことで探索を学ぶ。実験の結果,多エージェント粒子環境とマルチエージェント MuJoCo 環境におけるスパース・リワードタスクにおいて,MESA は学習された探索ポリシにより,大幅な性能向上を実現していることがわかった。
論文参考訳（メタデータ） (2024-05-01T23:19:48Z)
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文参考訳（メタデータ） (2024-03-03T22:57:44Z)
On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
論文参考訳（メタデータ） (2023-06-08T18:07:02Z)
Successor-Predecessor Intrinsic Exploration [18.440869985362998]
本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
論文参考訳（メタデータ） (2023-05-24T16:02:51Z)
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning [5.40729975786985]
本稿では,汎用価値関数(GVF)と有向探索戦略を用いて,探索と補助的タスク学習を組み合わせることを提案する。 3つのナビゲーションタスクにおいて、手作業ではなく選択肢(アクションのシーケンス)を学習し、パフォーマンス上の優位性を実証する簡単な方法を提供する。
論文参考訳（メタデータ） (2022-03-02T05:14:11Z)
Long-Term Exploration in Persistent MDPs [68.8204255655161]
RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
論文参考訳（メタデータ） (2021-09-21T13:47:04Z)
Exploration in Deep Reinforcement Learning: A Comprehensive Survey [24.252352133705735]
Deep Reinforcement Learning (DRL)とDeep Multi-agent Reinforcement Learning (MARL)は、ゲームAI、自動運転車、ロボティクス、ファイナンスなど、幅広い領域で大きな成功を収めている。 DRLおよび深層MARLエージェントはサンプリング非効率であることが広く知られており、比較的単純なゲーム設定でも数百万のインタラクションが必要である。本稿では,DRLおよび深部MARLにおける既存探査手法に関する総合的な調査を行う。
論文参考訳（メタデータ） (2021-09-14T13:16:33Z)
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
論文参考訳（メタデータ） (2021-07-23T20:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。