論文の概要: A Scalable and Parallelizable Digital Twin Framework for Sustainable Sim2Real Transition of Multi-Agent Reinforcement Learning Systems
- arxiv url: http://arxiv.org/abs/2403.10996v1
- Date: Sat, 16 Mar 2024 18:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:36:44.420710
- Title: A Scalable and Parallelizable Digital Twin Framework for Sustainable Sim2Real Transition of Multi-Agent Reinforcement Learning Systems
- Title(参考訳): マルチエージェント強化学習システムの持続可能Sim2Real遷移のための拡張性と並列化可能なディジタルツインフレームワーク
- Authors: Chinmay Vilas Samak, Tanmay Vilas Samak, Venkat Krovi,
- Abstract要約: 本研究は,並列化トレーニングワークロードをオンデマンドで選択的にスケール可能な,持続可能なマルチエージェント深層強化学習フレームワークを提案する。
我々は,AutoDRIVEエコシステムを,シミュレーションから現実への競争力のあるマルチエージェント強化学習ポリシと同様に,デジタルツインフレームワークによる協調の訓練,展開,転送を可能にするものとして紹介する。
- 参考スコア(独自算出の注目度): 1.0582505915332336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents a sustainable multi-agent deep reinforcement learning framework capable of selectively scaling parallelized training workloads on-demand, and transferring the trained policies from simulation to reality using minimal hardware resources. We introduce AutoDRIVE Ecosystem as an enabling digital twin framework to train, deploy, and transfer cooperative as well as competitive multi-agent reinforcement learning policies from simulation to reality. Particularly, we first investigate an intersection traversal problem of 4 cooperative vehicles (Nigel) that share limited state information in single as well as multi-agent learning settings using a common policy approach. We then investigate an adversarial autonomous racing problem of 2 vehicles (F1TENTH) using an individual policy approach. In either set of experiments, a decentralized learning architecture was adopted, which allowed robust training and testing of the policies in stochastic environments. The agents were provided with realistically sparse observation spaces, and were restricted to sample control actions that implicitly satisfied the imposed kinodynamic and safety constraints. The experimental results for both problem statements are reported in terms of quantitative metrics and qualitative remarks for training as well as deployment phases. We also discuss agent and environment parallelization techniques adopted to efficiently accelerate MARL training, while analyzing their computational performance. Finally, we demonstrate a resource-aware transition of the trained policies from simulation to reality using the proposed digital twin framework.
- Abstract(参考訳): 本研究は、並列化されたトレーニングワークロードをオンデマンドで選択的にスケーリングし、最小限のハードウェアリソースを使用して、トレーニングされたポリシをシミュレーションから現実へ移行可能な、持続可能なマルチエージェント深層強化学習フレームワークを提案する。
我々は,AutoDRIVEエコシステムを,シミュレーションから現実への競争力のあるマルチエージェント強化学習ポリシと同様に,デジタルツインフレームワークによる協調の訓練,展開,転送を可能にするものとして紹介する。
特に,コモン・ポリシー・アプローチを用いたマルチエージェント・ラーニング・セッティングとともに,限られた状態情報を共有する4台の協力車(ナイジェル)の交差点トラバース問題について検討した。
次に、個別の政策アプローチを用いて、2台の車両(F1TENTH)の対向自律レース問題について検討する。
いずれの実験でも、分散学習アーキテクチャが採用され、確率的環境におけるポリシーの堅牢なトレーニングとテストを可能にした。
エージェントは現実的に疎らな観測空間を備えており、強制されたキノダイナミックおよび安全制約を暗黙的に満たすサンプル制御行動に制限されていた。
両問題ステートメントの実験結果は、定量的な測定値と、トレーニングのための定性的な発言、およびデプロイメントフェーズの観点から報告される。
また,MARL学習を効率的に高速化するエージェントと環境並列化手法についても検討し,その計算性能を解析した。
最後に、提案したデジタルツインフレームワークを用いて、トレーニング済みポリシーのシミュレーションから現実への移行を実演する。
関連論文リスト
- Controllable Safety-Critical Closed-loop Traffic Simulation via Guided
Diffusion [100.4988219600854]
誘導拡散モデルに根ざした新しいクローズドループシミュレーションフレームワークを提案する。
提案手法は, 現実の条件を密にエミュレートする現実的なロングテールシナリオの生成と, 制御性の向上という, 二つの異なる利点をもたらす。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - Conformal Policy Learning for Sensorimotor Control Under Distribution
Shifts [61.929388479847525]
本稿では,センサコントローラの観測値の分布変化を検知・応答する問題に焦点をあてる。
鍵となる考え方は、整合量子を入力として取ることができるスイッチングポリシーの設計である。
本稿では, 基本方針を異なる特性で切り替えるために, 共形量子関数を用いてこのようなポリシーを設計する方法を示す。
論文 参考訳(メタデータ) (2023-11-02T17:59:30Z) - Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive
Autonomous Vehicles using AutoDRIVE Ecosystem [1.1893676124374688]
我々は、ニジェールとF1TENTHの物理的に正確でグラフィカルなデジタル双対を開発するために、AutoDRIVE Ecosystemを導入する。
まず,複数エージェントの学習環境だけでなく,限られた状態情報を相互に共有する一組の協調車両(Nigel)を用いた交差点問題について検討する。
次に、異なる車両群(F1TENTH)を用いて、個別のポリシーアプローチを用いたマルチエージェント学習環境において、対向的なヘッドツーヘッド自律レース問題を調査する。
論文 参考訳(メタデータ) (2023-09-18T02:43:59Z) - Marginalized Importance Sampling for Off-Environment Policy Evaluation [13.824507564510503]
強化学習法(Reinforcement Learning, RL)は、通常、サンプル非効率であり、実世界のロボットでRLポリティエの訓練と展開が困難である。
本稿では,エージェントポリシーを実環境にデプロイする前に,エージェントポリシーの現実的性能を評価するための新しいアプローチを提案する。
提案手法では,実世界のオフラインデータとともにシミュレータを組み込んで,任意のポリシーの性能評価を行う。
論文 参考訳(メタデータ) (2023-09-04T20:52:04Z) - Prompt to Transfer: Sim-to-Real Transfer for Traffic Signal Control with
Prompt Learning [4.195122359359966]
大規模言語モデル(LLM)は大量知識に基づいて訓練されており、驚くべき推論能力を備えていることが判明した。
本研究では,LLMを利用してシステムダイナミクスの理解と解析を行う。
論文 参考訳(メタデータ) (2023-08-28T03:49:13Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - NeurIPS 2022 Competition: Driving SMARTS [60.948652154552136]
ドライビングSMARTSは、動的相互作用コンテキストにおける分散シフトに起因する問題に対処するために設計された定期的な競争である。
提案するコンペティションは,強化学習(RL)やオフライン学習など,方法論的に多様なソリューションをサポートする。
論文 参考訳(メタデータ) (2022-11-14T17:10:53Z) - Learning Interactive Driving Policies via Data-driven Simulation [125.97811179463542]
データ駆動シミュレータは、ポリシー学習の駆動に高いデータ効率を約束する。
小さな基盤となるデータセットは、インタラクティブな運転を学ぶための興味深い、挑戦的なエッジケースを欠いていることが多い。
本研究では,ロバストな運転方針の学習に塗装されたアドカーを用いたシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2021-11-23T20:14:02Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - CARLA Real Traffic Scenarios -- novel training ground and benchmark for
autonomous driving [8.287331387095545]
本研究では,実世界のトラフィックに基づくCARLAシミュレータにおけるインタラクティブな交通シナリオについて紹介する。
我々は数秒間続く戦術的タスクに集中しており、これは現在の制御方法では特に困難である。
CARLA Real Traffic Scenarios(CRTS)は、自動運転システムのトレーニングとテストの場になることを意図しています。
論文 参考訳(メタデータ) (2020-12-16T13:20:39Z) - Sim-to-real reinforcement learning applied to end-to-end vehicle control [0.0]
本研究では車線追従や衝突回避といった車両制御問題のエンドツーエンド強化学習について検討する。
我々の制御ポリシーでは、実際の2車線の道路の右車線を追従するために小型ロボットを制御できますが、その訓練はシミュレーションでのみ行われました。
論文 参考訳(メタデータ) (2020-12-14T12:30:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。