論文の概要: IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2410.15221v1
- Date: Sat, 19 Oct 2024 21:34:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:19:19.541034
- Title: IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
- Title（参考訳）: IntersectionZoo: マルチエージェントなコンテキスト強化学習のベンチマークのためのエコドライブ
- Authors: Vindula Jayawardana, Baptiste Freydt, Ao Qu, Cameron Hickert, Zhongxia Yan, Cathy Wu,
- Abstract要約: マルチエージェント強化学習のための総合ベンチマークスイートIntersectionZooを提案する。
IntersectionZooを実世界のアプリケーションに接地することで、実世界の問題の特徴を自然に捉えることができる。
IntersectionZooは、米国の主要10都市の16,334の信号化交差点のデータインフォームドシミュレーションに基づいて構築されている。
- 参考スコア（独自算出の注目度）: 4.80862277413422
- License:
- Abstract: Despite the popularity of multi-agent reinforcement learning (RL) in simulated and two-player applications, its success in messy real-world applications has been limited. A key challenge lies in its generalizability across problem variations, a common necessity for many real-world problems. Contextual reinforcement learning (CRL) formalizes learning policies that generalize across problem variations. However, the lack of standardized benchmarks for multi-agent CRL has hindered progress in the field. Such benchmarks are desired to be based on real-world applications to naturally capture the many open challenges of real-world problems that affect generalization. To bridge this gap, we propose IntersectionZoo, a comprehensive benchmark suite for multi-agent CRL through the real-world application of cooperative eco-driving in urban road networks. The task of cooperative eco-driving is to control a fleet of vehicles to reduce fleet-level vehicular emissions. By grounding IntersectionZoo in a real-world application, we naturally capture real-world problem characteristics, such as partial observability and multiple competing objectives. IntersectionZoo is built on data-informed simulations of 16,334 signalized intersections derived from 10 major US cities, modeled in an open-source industry-grade microscopic traffic simulator. By modeling factors affecting vehicular exhaust emissions (e.g., temperature, road conditions, travel demand), IntersectionZoo provides one million data-driven traffic scenarios. Using these traffic scenarios, we benchmark popular multi-agent RL and human-like driving algorithms and demonstrate that the popular multi-agent RL algorithms struggle to generalize in CRL settings.
- Abstract（参考訳）: シミュレーションおよび2プレイヤーアプリケーションにおけるマルチエージェント強化学習(RL)の人気にもかかわらず、乱雑な現実世界アプリケーションでの成功は限られている。
鍵となる課題は、多くの実世界の問題にとって共通の必要性である、問題バリエーション間の一般化性である。
文脈強化学習(CRL)は、問題変動を一般化する学習方針を定式化する。
しかし、マルチエージェントCRLの標準ベンチマークの欠如は、この分野の進歩を妨げている。
このようなベンチマークは、一般化に影響を与える現実の問題の多くのオープンな課題を自然に捉えるために、現実世界のアプリケーションに基づいていることが望まれる。
このギャップを埋めるため,都市道路ネットワークにおける協調走行の現実的な応用を通して,マルチエージェントCRLの総合ベンチマークスイートであるIntersectionZooを提案する。
協力的なエコ自動運転の任務は、艦隊レベルの車両排出を減らすために車両群を制御することである。
実世界のアプリケーションにIntersectionZooを接地することで、部分観測可能性や競合する複数の目的など、実世界の問題の特徴を自然に捉えることができる。
IntersectionZooは、10の主要都市から派生した16,334の信号化交差点のデータインフォームドシミュレーションに基づいて構築されており、オープンソースの業界グレードの微視的交通シミュレータでモデル化されている。
車両排ガス(例えば、温度、道路条件、走行需要)に影響する要因をモデル化することによって、IntersectionZooは100万のデータ駆動交通シナリオを提供する。
これらのトラフィックシナリオを用いて、人気のあるマルチエージェントRLとヒューマンライクな駆動アルゴリズムをベンチマークし、人気のあるマルチエージェントRLアルゴリズムがCRL設定の一般化に苦慮していることを示す。
関連論文リスト
- Multi-Agent Environments for Vehicle Routing Problems [1.0179489519625304]
本稿では,従来の車両ルーティング問題をシミュレートするマルチエージェント環境からなるライブラリを提案する。
PyTorch上に構築されたこのライブラリは、新しいルーティング問題のカスタマイズと導入を容易にする、柔軟なモジュラーアーキテクチャ設計を提供する。
論文 参考訳（メタデータ） (2024-11-21T18:46:23Z) - Generalizing Cooperative Eco-driving via Multi-residual Task Learning [6.864745785996583]
MRTL(Multi-Residual Task Learning)はマルチタスク学習に基づく汎用的な学習フレームワークである。
MRTLは制御を従来の制御法と残留項によって効果的に解決される名目成分に分解する。
我々は、システム制御の手段として自律走行車を用いた混合交通における艦隊レベルの排出削減にMRTLを使用している。
論文 参考訳（メタデータ） (2024-03-07T05:25:34Z) - Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning [48.667697255912614]
平均場強化学習は、同一エージェントの無限集団と相互作用する代表エージェントのポリシーに対処する。
モデルベースの平均場強化学習アルゴリズムであるSafe-M$3$-UCRLを提案する。
本アルゴリズムは,低需要領域におけるサービスアクセシビリティを確保しつつ,重要な領域における需要を効果的に満たす。
論文 参考訳（メタデータ） (2023-06-29T15:57:07Z) - Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for
Autonomous Driving [1.496194593196997]
自律運転のための一般化可能な強化学習のためのベンチマークを提案する。
アプリケーション指向のベンチマークは、設計決定の影響をよりよく理解します。
我々のベンチマークは、研究者がシナリオをまたいでうまく一般化できるソリューションを提案することを奨励することを目的としている。
論文 参考訳（メタデータ） (2022-07-23T06:29:43Z) - Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent
Decision-Making in Mixed Traffic Environments [12.34509371288594]
本研究は,さまざまなグラフ強化学習(GRL)手法による意思決定を実現するためのフレームワークを提案する。
いくつかのGRLアプローチを要約し、提案したフレームワークで実装する。
結果は、インテリジェント輸送シナリオにおけるGRLアプローチの特徴を比較するために、複数の視点と次元で分析される。
論文 参考訳（メタデータ） (2022-01-30T10:09:43Z) - Automated Reinforcement Learning (AutoRL): A Survey and Open Problems [92.73407630874841]
AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
論文 参考訳（メタデータ） (2022-01-11T12:41:43Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2021-04-28T07:54:40Z) - Independent Reinforcement Learning for Weakly Cooperative Multiagent
Traffic Control Problem [22.733542222812158]
本研究では,irl(independent reinforcement learning)を用いて複雑な交通協調制御問題を解く。
そこで, 交通制御問題を部分的に観測可能な弱協調交通モデル (PO-WCTM) としてモデル化し, 交差点群全体の交通状況を最適化する。
実験の結果,CIL-DDQNはトラヒック制御問題のほぼすべての性能指標において,他の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-04-22T07:55:46Z) - Multi-intersection Traffic Optimisation: A Benchmark Dataset and a
Strong Baseline [85.9210953301628]
交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。
問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。
エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
論文 参考訳（メタデータ） (2021-01-24T03:55:39Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z) - Reinforcement Learning Based Vehicle-cell Association Algorithm for
Highly Mobile Millimeter Wave Communication [53.47785498477648]
本稿では,ミリ波通信網における車とセルの関連性について検討する。
まず、ユーザ状態(VU)問題を離散的な非車両関連最適化問題として定式化する。
提案手法は,複数のベースライン設計と比較して,ユーザの複雑性とVUEの20%削減の合計で最大15%のゲインが得られる。
論文 参考訳（メタデータ） (2020-01-22T08:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。