論文の概要: A Scalable and Parallelizable Digital Twin Framework for Sustainable Sim2Real Transition of Multi-Agent Reinforcement Learning Systems
- arxiv url: http://arxiv.org/abs/2403.10996v4
- Date: Sun, 13 Oct 2024 13:16:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 17:54:02.831480
- Title: A Scalable and Parallelizable Digital Twin Framework for Sustainable Sim2Real Transition of Multi-Agent Reinforcement Learning Systems
- Title(参考訳): マルチエージェント強化学習システムの持続可能Sim2Real遷移のための拡張性と並列化可能なディジタルツインフレームワーク
- Authors: Chinmay Vilas Samak, Tanmay Vilas Samak, Venkat Krovi,
- Abstract要約: マルチエージェント強化学習(MARL)システムは通常、その固有の複雑さのために、非常に長い訓練時間を必要とする。
本研究では、MARLトレーニングをオンデマンドで選択的にスケーリングすることで、MARLトレーニングを高速化するデジタルツインフレームワークを提案する。
その結果、提案した並列化方式でトレーニング時間を最大76.3%削減し、提案手法を用いて2.9%のsim2realギャップを減らした。
- 参考スコア(独自算出の注目度): 1.0582505915332336
- License:
- Abstract: Multi-agent reinforcement learning (MARL) systems usually require significantly long training times due to their inherent complexity. Furthermore, deploying them in the real world demands a feature-rich environment along with multiple embodied agents, which may not be feasible due to budget or space limitations, not to mention energy consumption and safety issues. This work tries to address these pain points by presenting a sustainable digital twin framework capable of accelerating MARL training by selectively scaling parallelized workloads on-demand, and transferring the trained policies from simulation to reality using minimal hardware resources. The applicability of the proposed digital twin framework is highlighted through two representative use cases, which cover cooperative as well as competitive classes of MARL problems. We study the effect of agent and environment parallelization on training time and that of systematic domain randomization on zero-shot sim2real transfer across both the case studies. Results indicate up to 76.3% reduction in training time with the proposed parallelization scheme and as low as 2.9% sim2real gap using the suggested deployment method.
- Abstract(参考訳): マルチエージェント強化学習(MARL)システムは通常、その固有の複雑さのために、非常に長い訓練時間を必要とする。
さらに、これらを現実世界に展開するには、エネルギー消費や安全性の問題だけでなく、予算や空間制限のために実現不可能な、複数の実施エージェントとともに機能豊富な環境が必要である。
この研究は、必要に応じて並列化されたワークロードを選択的にスケーリングし、最小限のハードウェアリソースを使用してトレーニングされたポリシーをシミュレーションから現実に転送することで、MARLトレーニングを加速できる持続可能なデジタルツインフレームワークを提供することによって、これらの問題点に対処しようとしている。
提案するディジタルツインフレームワークの適用性は,MARL問題における協調的および競合的クラスをカバーする2つの代表的なユースケースを通じて強調される。
エージェントと環境の並列化が訓練時間および系統的領域ランダム化に及ぼす影響を両事例で検討した。
その結果、提案した並列化方式でトレーニング時間を最大76.3%削減し、提案手法を用いて2.9%のsim2realギャップを減らした。
関連論文リスト
- Dual Policy Reinforcement Learning for Real-time Rebalancing in Bike-sharing Systems [13.083156894368532]
自転車シェアリングシステムは、交通渋滞を緩和し、より健康的なライフスタイルを促進する上で重要な役割を担っている。
本研究では,車両群によるリアルタイムリバランス問題に対処するための新しいアプローチを提案する。
在庫とルーティングの決定を分離する、二重ポリシー強化学習アルゴリズムを採用している。
論文 参考訳(メタデータ) (2024-06-02T21:05:23Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Controllable Adversaries [94.84458417662407]
本稿では,新しい拡散制御型クローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
我々は,認知過程における敵対的項を通して,安全クリティカルなシナリオをシミュレートする新しい手法を開発した。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - Conformal Policy Learning for Sensorimotor Control Under Distribution
Shifts [61.929388479847525]
本稿では,センサコントローラの観測値の分布変化を検知・応答する問題に焦点をあてる。
鍵となる考え方は、整合量子を入力として取ることができるスイッチングポリシーの設計である。
本稿では, 基本方針を異なる特性で切り替えるために, 共形量子関数を用いてこのようなポリシーを設計する方法を示す。
論文 参考訳(メタデータ) (2023-11-02T17:59:30Z) - Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive
Autonomous Vehicles using AutoDRIVE Ecosystem [1.1893676124374688]
我々は、ニジェールとF1TENTHの物理的に正確でグラフィカルなデジタル双対を開発するために、AutoDRIVE Ecosystemを導入する。
まず,複数エージェントの学習環境だけでなく,限られた状態情報を相互に共有する一組の協調車両(Nigel)を用いた交差点問題について検討する。
次に、異なる車両群(F1TENTH)を用いて、個別のポリシーアプローチを用いたマルチエージェント学習環境において、対向的なヘッドツーヘッド自律レース問題を調査する。
論文 参考訳(メタデータ) (2023-09-18T02:43:59Z) - Marginalized Importance Sampling for Off-Environment Policy Evaluation [13.824507564510503]
強化学習法(Reinforcement Learning, RL)は、通常、サンプル非効率であり、実世界のロボットでRLポリティエの訓練と展開が困難である。
本稿では,エージェントポリシーを実環境にデプロイする前に,エージェントポリシーの現実的性能を評価するための新しいアプローチを提案する。
提案手法では,実世界のオフラインデータとともにシミュレータを組み込んで,任意のポリシーの性能評価を行う。
論文 参考訳(メタデータ) (2023-09-04T20:52:04Z) - Prompt to Transfer: Sim-to-Real Transfer for Traffic Signal Control with
Prompt Learning [4.195122359359966]
大規模言語モデル(LLM)は大量知識に基づいて訓練されており、驚くべき推論能力を備えていることが判明した。
本研究では,LLMを利用してシステムダイナミクスの理解と解析を行う。
論文 参考訳(メタデータ) (2023-08-28T03:49:13Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - NeurIPS 2022 Competition: Driving SMARTS [60.948652154552136]
ドライビングSMARTSは、動的相互作用コンテキストにおける分散シフトに起因する問題に対処するために設計された定期的な競争である。
提案するコンペティションは,強化学習(RL)やオフライン学習など,方法論的に多様なソリューションをサポートする。
論文 参考訳(メタデータ) (2022-11-14T17:10:53Z) - Learning Interactive Driving Policies via Data-driven Simulation [125.97811179463542]
データ駆動シミュレータは、ポリシー学習の駆動に高いデータ効率を約束する。
小さな基盤となるデータセットは、インタラクティブな運転を学ぶための興味深い、挑戦的なエッジケースを欠いていることが多い。
本研究では,ロバストな運転方針の学習に塗装されたアドカーを用いたシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2021-11-23T20:14:02Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - CARLA Real Traffic Scenarios -- novel training ground and benchmark for
autonomous driving [8.287331387095545]
本研究では,実世界のトラフィックに基づくCARLAシミュレータにおけるインタラクティブな交通シナリオについて紹介する。
我々は数秒間続く戦術的タスクに集中しており、これは現在の制御方法では特に困難である。
CARLA Real Traffic Scenarios(CRTS)は、自動運転システムのトレーニングとテストの場になることを意図しています。
論文 参考訳(メタデータ) (2020-12-16T13:20:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。