論文の概要: From Multi-agent to Multi-robot: A Scalable Training and Evaluation
Platform for Multi-robot Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2206.09590v1
- Date: Mon, 20 Jun 2022 06:36:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 14:56:21.505472
- Title: From Multi-agent to Multi-robot: A Scalable Training and Evaluation
Platform for Multi-robot Reinforcement Learning
- Title(参考訳): マルチエージェントからマルチロボットへ:マルチロボット強化学習のためのスケーラブルなトレーニングと評価プラットフォーム
- Authors: Zhiuxan Liang, Jiannong Cao, Shan Jiang, Divya Saxena, Jinlin Chen,
Huafeng Xu
- Abstract要約: マルチエージェント強化学習(MARL)は、過去数十年間、学術や産業から広く注目を集めてきた。
これらの手法が実際のシナリオ、特にマルチロボットシステムでどのように機能するかは未だ分かっていない。
本稿では,マルチロボット強化学習(MRRL)のためのスケーラブルなエミュレーションプラットフォームSMARTを提案する。
- 参考スコア(独自算出の注目度): 12.74238738538799
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent reinforcement learning (MARL) has been gaining extensive
attention from academia and industries in the past few decades. One of the
fundamental problems in MARL is how to evaluate different approaches
comprehensively. Most existing MARL methods are evaluated in either video games
or simplistic simulated scenarios. It remains unknown how these methods perform
in real-world scenarios, especially multi-robot systems. This paper introduces
a scalable emulation platform for multi-robot reinforcement learning (MRRL)
called SMART to meet this need. Precisely, SMART consists of two components: 1)
a simulation environment that provides a variety of complex interaction
scenarios for training and 2) a real-world multi-robot system for realistic
performance evaluation. Besides, SMART offers agent-environment APIs that are
plug-and-play for algorithm implementation. To illustrate the practicality of
our platform, we conduct a case study on the cooperative driving lane change
scenario. Building off the case study, we summarize several unique challenges
of MRRL, which are rarely considered previously. Finally, we open-source the
simulation environments, associated benchmark tasks, and state-of-the-art
baselines to encourage and empower MRRL research.
- Abstract(参考訳): マルチエージェント強化学習(MARL)は、過去数十年間、学術や産業から広く注目を集めてきた。
MARLの基本的な問題の1つは、異なるアプローチを包括的に評価する方法である。
既存のMARL手法の多くは、ビデオゲームまたは単純化シミュレーションシナリオで評価される。
これらの手法が現実世界のシナリオ、特にマルチロボットシステムでどのように機能するかはまだ不明である。
本稿では,マルチロボット強化学習(MRRL)のためのスケーラブルなエミュレーションプラットフォームSMARTを提案する。
SMARTは2つのコンポーネントから構成される。
1) 様々な複雑な相互作用シナリオを訓練や実験のために提供するシミュレーション環境
2)現実的な性能評価のための実世界のマルチロボットシステム。
さらにSMARTはアルゴリズム実装のためのプラグイン・アンド・プレイのエージェント環境APIを提供している。
当社のプラットフォームの実践性を説明するために,協調運転車線変更シナリオを事例として検討する。
ケーススタディとして,これまで考えられなかったmrrlのユニークな課題をいくつかまとめる。
最後に, シミュレーション環境, 関連するベンチマークタスク, 最先端のベースラインをオープンソース化し, MRRL研究を奨励し, 強化する。
関連論文リスト
- SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳(メタデータ) (2024-01-29T10:01:10Z) - A Versatile Multi-Agent Reinforcement Learning Benchmark for Inventory
Management [16.808873433821464]
マルチエージェント強化学習(MARL)は、共有環境内で対話し学習する複数のエージェントをモデル化する。
MARLを現実のシナリオに適用することは、スケールアップ、複雑なエージェントインタラクション、非定常ダイナミクスといった多くの課題によって妨げられます。
論文 参考訳(メタデータ) (2023-06-13T05:22:30Z) - NeurIPS 2022 Competition: Driving SMARTS [60.948652154552136]
ドライビングSMARTSは、動的相互作用コンテキストにおける分散シフトに起因する問題に対処するために設計された定期的な競争である。
提案するコンペティションは,強化学習(RL)やオフライン学習など,方法論的に多様なソリューションをサポートする。
論文 参考訳(メタデータ) (2022-11-14T17:10:53Z) - Revisiting Some Common Practices in Cooperative Multi-Agent
Reinforcement Learning [11.91425153754564]
高いマルチモーダルな報酬ランドスケープ、価値分解、パラメータ共有が問題になり、望ましくない結果をもたらす可能性があることを示す。
対照的に、個々のポリシーを持つポリシー勾配(PG)法は、これらの場合において最適解に確実に収束する。
本稿では,多エージェントPGアルゴリズムの実装に関する実践的提案を行う。
論文 参考訳(メタデータ) (2022-06-15T13:03:05Z) - Distributed Reinforcement Learning for Robot Teams: A Review [10.92709534981466]
近年のセンサ,アクティベーション,計算の進歩により,マルチロボットシステムへの扉が開きつつある。
コミュニティはモデルフリーのマルチエージェント強化学習を活用して、マルチロボットシステムのための効率的でスケーラブルなコントローラを開発した。
最近の知見:分散MSSは、非定常性や部分観測可能性などの根本的な課題に直面している。
論文 参考訳(メタデータ) (2022-04-07T15:34:19Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳(メタデータ) (2021-10-25T20:02:57Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳(メタデータ) (2021-06-05T03:27:08Z) - MAMBPO: Sample-efficient multi-robot reinforcement learning using
learned world models [4.84279798426797]
マルチロボットシステムは、少数の試験で行動を学ぶ強化学習(RL)アルゴリズムの恩恵を受けることができます。
マルチエージェントモデルベースポリシー最適化(MAMBPO)という新しいマルチエージェントモデルベースRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-05T13:37:23Z) - SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for
Autonomous Driving [96.50297622371457]
マルチエージェントインタラクションは、現実の世界における自律運転の基本的な側面である。
研究と開発が10年以上続いたにもかかわらず、様々なシナリオで多様な道路ユーザーと対話する方法の問題は未解決のままである。
SMARTSと呼ばれる,多種多様な運転インタラクションを生成する専用シミュレーションプラットフォームを開発した。
論文 参考訳(メタデータ) (2020-10-19T18:26:10Z) - Forgetful Experience Replay in Hierarchical Reinforcement Learning from
Demonstrations [55.41644538483948]
本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。
提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。
私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
論文 参考訳(メタデータ) (2020-06-17T15:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。