論文の概要: SocialLight: Distributed Cooperation Learning towards Network-Wide
Traffic Signal Control
- arxiv url: http://arxiv.org/abs/2305.16145v1
- Date: Thu, 20 Apr 2023 12:41:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-28 04:30:40.203718
- Title: SocialLight: Distributed Cooperation Learning towards Network-Wide
Traffic Signal Control
- Title(参考訳): SocialLight: ネットワーク側信号制御のための分散協調学習
- Authors: Harsh Goel, Yifeng Zhang, Mehul Damani, and Guillaume Sartoretti
- Abstract要約: SocialLightは交通信号制御のための新しいマルチエージェント強化学習手法である。
地元におけるエージェントの個人的限界貢献を推定することにより、協力的な交通規制政策を学習する。
我々は,2つの交通シミュレータの標準ベンチマークにおける最先端の交通信号制御手法に対して,トレーニングネットワークをベンチマークした。
- 参考スコア(独自算出の注目度): 7.387226437589183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many recent works have turned to multi-agent reinforcement learning (MARL)
for adaptive traffic signal control to optimize the travel time of vehicles
over large urban networks. However, achieving effective and scalable
cooperation among junctions (agents) remains an open challenge, as existing
methods often rely on extensive, non-generalizable reward shaping or on
non-scalable centralized learning. To address these problems, we propose a new
MARL method for traffic signal control, SocialLight, which learns cooperative
traffic control policies by distributedly estimating the individual marginal
contribution of agents on their local neighborhood. SocialLight relies on the
Asynchronous Actor Critic (A3C) framework, and makes learning scalable by
learning a locally-centralized critic conditioned over the states and actions
of neighboring agents, used by agents to estimate individual contributions by
counterfactual reasoning. We further introduce important modifications to the
advantage calculation that help stabilize policy updates. These modifications
decouple the impact of the neighbors' actions on the computed advantages,
thereby reducing the variance in the gradient updates. We benchmark our trained
network against state-of-the-art traffic signal control methods on standard
benchmarks in two traffic simulators, SUMO and CityFlow. Our results show that
SocialLight exhibits improved scalability to larger road networks and better
performance across usual traffic metrics.
- Abstract(参考訳): 近年,大規模な都市ネットワーク上での車両の走行時間を最適化するために,適応的な交通信号制御のためのマルチエージェント強化学習(MARL)が数多く行われている。
しかし、既存の手法は広範で一般化不可能な報酬形成や、非スケーリング可能な集中学習に依存しているため、ジャンクション(エージェント)間の効果的でスケーラブルな協調を実現することはオープンな課題である。
こうした問題に対処するため,地域におけるエージェントの個人的限界寄与を分散推定することにより,協調的な交通制御ポリシーを学習する新しいMARL手法であるSocialLightを提案する。
sociallightは非同期アクター批評家(a3c)フレームワークに依存しており、近隣のエージェントの状態や行動について条件付けられたローカル集中型批評家を学習することで、学習をスケーラブルにする。
さらに、政策更新の安定化に役立つ利点計算に重要な修正を加える。
これらの修正は、隣人の行動が計算上の利点に与える影響を分離し、勾配更新のばらつきを減らす。
我々は,SUMOとCityFlowの2つの交通シミュレータの標準ベンチマークにおいて,最先端の交通信号制御手法に対してトレーニングネットワークをベンチマークした。
その結果,sociallightは大規模道路網のスケーラビリティが向上し,トラヒック指標による性能も向上した。
関連論文リスト
- A Holistic Framework Towards Vision-based Traffic Signal Control with
Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。
本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。
我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文 参考訳(メタデータ) (2024-03-11T16:42:29Z) - Joint Optimization of Traffic Signal Control and Vehicle Routing in
Signalized Road Networks using Multi-Agent Deep Reinforcement Learning [19.024527400852968]
信号化道路網における交通信号制御と車両ルーティングの協調最適化手法を提案する。
マルチエージェントディープ強化学習(MADRL)を用いた信号タイミングと経路選択を同時に制御することでネットワーク性能を向上させることを目的とする。
本研究は,MADRLを用いて信号制御と車両経路の最適結合ポリシーを導出する最初の試みである。
論文 参考訳(メタデータ) (2023-10-16T22:10:47Z) - DenseLight: Efficient Control for Large-scale Traffic Signals with Dense
Feedback [109.84667902348498]
交通信号制御(TSC)は、道路網における車両の平均走行時間を短縮することを目的としている。
従来のTSC手法は、深い強化学習を利用して制御ポリシーを探索する。
DenseLightは、不偏報酬関数を用いてポリシーの有効性をフィードバックする新しいRTLベースのTSC手法である。
論文 参考訳(メタデータ) (2023-06-13T05:58:57Z) - Learning energy-efficient driving behaviors by imitating experts [75.12960180185105]
本稿では,コミュニケーション・センシングにおける制御戦略と現実的限界のギャップを埋める上で,模倣学習が果たす役割について考察する。
擬似学習は、車両の5%に採用されれば、局地的な観測のみを用いて、交通条件の異なるネットワークのエネルギー効率を15%向上させる政策を導出できることを示す。
論文 参考訳(メタデータ) (2022-06-28T17:08:31Z) - Cooperative Reinforcement Learning on Traffic Signal Control [3.759936323189418]
交通信号の制御は、道路交差点での車両の移動を調整することで、全体の走行時間を最小化することを目的とした、現実的な課題である。
既存の信号制御システムは、過度に単純化された情報とルールベースの方法に大きく依存している。
本稿では,交通信号制御最適化のための複数の報酬項をより正確に推定するために,年齢遅延重み付き協調型多目的アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-05-23T13:25:15Z) - AI-aided Traffic Control Scheme for M2M Communications in the Internet
of Vehicles [61.21359293642559]
交通のダイナミクスと異なるIoVアプリケーションの異種要求は、既存のほとんどの研究では考慮されていない。
本稿では,ハイブリッド交通制御方式とPPO法を併用して検討する。
論文 参考訳(メタデータ) (2022-03-05T10:54:05Z) - Learning to Help Emergency Vehicles Arrive Faster: A Cooperative
Vehicle-Road Scheduling Approach [24.505687255063986]
車両中心のスケジューリングアプローチは、緊急車両の最適経路を推奨する。
道路中心のスケジューリングアプローチは、交通状況を改善し、EVが交差点を通過するための優先度を高めることを目的としている。
本稿では,リアルタイム経路計画モジュールと協調交通信号制御モジュールを含む協調型VehIcle-roaDスケジューリング手法であるLEVIDを提案する。
論文 参考訳(メタデータ) (2022-02-20T10:25:15Z) - A Deep Reinforcement Learning Approach for Traffic Signal Control
Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。
本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文 参考訳(メタデータ) (2021-07-13T14:11:04Z) - Courteous Behavior of Automated Vehicles at Unsignalized Intersections
via Reinforcement Learning [30.00761722505295]
深層強化学習を用いた混在交通状況における交差点における交通流の最適化手法を提案する。
我々の強化学習エージェントは、信号のない交差点で接続された自動運転車が道路の権利を放棄し、交通の流れを最適化するために他の車両に利する、集中型制御器のポリシーを学習する。
論文 参考訳(メタデータ) (2021-06-11T13:16:48Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳(メタデータ) (2021-04-28T07:54:40Z) - Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous
Vehicles and Multi-Agent RL [63.52264764099532]
本研究では、完全分散制御方式を用いて、混合自律環境でのボトルネックのスループットを向上させる自動運転車の能力について検討する。
この問題にマルチエージェント強化アルゴリズムを適用し、5%の浸透速度で20%から40%の浸透速度で33%までのボトルネックスループットの大幅な改善が達成できることを実証した。
論文 参考訳(メタデータ) (2020-10-30T22:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。