Fugu-MT 論文翻訳(概要): Bridging the Reality Gap of Reinforcement Learning based Traffic Signal Control using Domain Randomization and Meta Learning

論文の概要: Bridging the Reality Gap of Reinforcement Learning based Traffic Signal Control using Domain Randomization and Meta Learning

arxiv url: http://arxiv.org/abs/2307.11357v1
Date: Fri, 21 Jul 2023 05:17:21 GMT
ステータス: 処理完了
システム内更新日: 2023-07-24 13:30:25.680071
Title: Bridging the Reality Gap of Reinforcement Learning based Traffic Signal Control using Domain Randomization and Meta Learning
Title（参考訳）: 領域ランダム化とメタ学習を用いた強化学習に基づく交通信号制御の現実的ギャップの橋渡し
Authors: Arthur M\"uller, Matthia Sabatelli
Abstract要約: 本稿では,この現実のギャップに寄与する潜在的なシミュレーションパラメータを包括的に分析する。ドメインランダム化(DR)とモデル非依存メタラーニング(MAML)という,このギャップを埋める有望な2つの戦略を検討する。実験の結果,DRとMAMLはいずれも最先端のRLアルゴリズムよりも優れていた。
参考スコア（独自算出の注目度）: 0.7614628596146599
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement Learning (RL) has been widely explored in Traffic Signal Control (TSC) applications, however, still no such system has been deployed in practice. A key barrier to progress in this area is the reality gap, the discrepancy that results from differences between simulation models and their real-world equivalents. In this paper, we address this challenge by first presenting a comprehensive analysis of potential simulation parameters that contribute to this reality gap. We then also examine two promising strategies that can bridge this gap: Domain Randomization (DR) and Model-Agnostic Meta-Learning (MAML). Both strategies were trained with a traffic simulation model of an intersection. In addition, the model was embedded in LemgoRL, a framework that integrates realistic, safety-critical requirements into the control system. Subsequently, we evaluated the performance of the two methods on a separate model of the same intersection that was developed with a different traffic simulator. In this way, we mimic the reality gap. Our experimental results show that both DR and MAML outperform a state-of-the-art RL algorithm, therefore highlighting their potential to mitigate the reality gap in RLbased TSC systems.
Abstract（参考訳）: 強化学習(rl)はtsc(traffic signal control)アプリケーションで広く研究されてきたが、実際にはそのようなシステムは採用されていない。この領域における進歩の鍵となる障壁は現実のギャップであり、シミュレーションモデルと現実の等価性の違いから生じる相違である。本稿では,この現実のギャップに寄与する潜在的なシミュレーションパラメータを包括的に分析することで,この問題に対処する。さらに、ドメインランダム化(DR)とモデル非依存メタラーニング(MAML)という、このギャップを橋渡しできる有望な2つの戦略についても検討する。どちらの戦略も交差点の交通シミュレーションモデルで訓練された。さらにこのモデルは、現実的で安全に重要な要件をコントロールシステムに統合するフレームワークであるLemgoRLに埋め込まれた。続いて,異なるトラヒックシミュレータを用いて開発した同一交差点の別モデルにおける2つの手法の性能評価を行った。このように、現実のギャップを模倣します。実験の結果,DRとMAMLはいずれも最先端のRLアルゴリズムより優れており,RTCシステムにおける現実的ギャップを緩和する可能性を示している。

関連論文リスト

TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
論文参考訳（メタデータ） (2025-02-03T14:22:03Z)
SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文参考訳（メタデータ） (2023-12-31T04:14:43Z)
Marginalized Importance Sampling for Off-Environment Policy Evaluation [13.824507564510503]
強化学習法(Reinforcement Learning, RL)は、通常、サンプル非効率であり、実世界のロボットでRLポリティエの訓練と展開が困難である。本稿では,エージェントポリシーを実環境にデプロイする前に,エージェントポリシーの現実的性能を評価するための新しいアプローチを提案する。提案手法では,実世界のオフラインデータとともにシミュレータを組み込んで,任意のポリシーの性能評価を行う。
論文参考訳（メタデータ） (2023-09-04T20:52:04Z)
Reinforcement Learning with Human Feedback for Realistic Traffic Simulation [53.85002640149283]
効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
論文参考訳（メタデータ） (2023-09-01T19:29:53Z)
Uncertainty-aware Grounded Action Transformation towards Sim-to-Real Transfer for Traffic Signal Control [3.6216188129806643]
本稿では,UGAT と呼ばれる実世界のシミュレーション(シミュレート・トゥ・リアル)トランスファー手法を提案する。本手法は,実世界における移動RLポリシーの性能を大幅に向上させることを示す。
論文参考訳（メタデータ） (2023-07-23T17:35:49Z)
A Platform-Agnostic Deep Reinforcement Learning Framework for Effective Sim2Real Transfer towards Autonomous Driving [0.0]
深層強化学習(DRL)は複雑なタスクの解決に顕著な成功を収めた。シミュレーションと現実の間に大きな違いがあるため、DRLエージェントを現実世界に転送することは依然として困難である。本稿では、プラットフォームに依存した認識モジュールを利用してタスク関連情報を抽出する頑健なDRLフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-14T07:55:07Z)
NeurIPS 2022 Competition: Driving SMARTS [60.948652154552136]
ドライビングSMARTSは、動的相互作用コンテキストにおける分散シフトに起因する問題に対処するために設計された定期的な競争である。提案するコンペティションは,強化学習(RL)やオフライン学習など,方法論的に多様なソリューションをサポートする。
論文参考訳（メタデータ） (2022-11-14T17:10:53Z)
Sim2real for Reinforcement Learning Driven Next Generation Networks [4.29590751118341]
Reinforcement Learning (RL) モデルは、RAN関連多目的最適化問題の解決の鍵と見なされている。主な理由の1つはシミュレーションと実環境の間のモデリングギャップであり、RLエージェントは実環境に不適合なシミュレーションによって訓練される可能性がある。この記事では、Open RAN(O-RAN)のコンテキストにおけるsim2realチャレンジについて述べます。実環境におけるシミュレーション訓練されたRLモデルの障害モードを実証し、実証するために、いくつかのユースケースが提示される。
論文参考訳（メタデータ） (2022-06-08T12:40:24Z)
TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文参考訳（メタデータ） (2021-01-17T00:29:30Z)
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning [69.23334811890919]
深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
論文参考訳（メタデータ） (2020-05-13T14:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。