論文の概要: Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2311.03756v1
• Date: Tue, 7 Nov 2023 06:43:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:38:54.243855
• Title: Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning
• Title（参考訳）: マルチエージェントグラフ強化学習による分散型トラヒック信号制御装置の学習
• Authors: Yao Zhang, Zhiwen Yu, Jun Zhang, Liang Wang, Tom H. Luan, Bin Guo, Chau Yuen
• Abstract要約: 我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
• 参考スコア（独自算出の注目度）: 42.175067773481416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers optimal traffic signal control in smart cities, which has been taken as a complex networked system control problem. Given the interacting dynamics among traffic lights and road networks, attaining controller adaptivity and scalability stands out as a primary challenge. Capturing the spatial-temporal correlation among traffic lights under the framework of Multi-Agent Reinforcement Learning (MARL) is a promising solution. Nevertheless, existing MARL algorithms ignore effective information aggregation which is fundamental for improving the learning capacity of decentralized agents. In this paper, we design a new decentralized control architecture with improved environmental observability to capture the spatial-temporal correlation. Specifically, we first develop a topology-aware information aggregation strategy to extract correlation-related information from unstructured data gathered in the road network. Particularly, we transfer the road network topology into a graph shift operator by forming a diffusion process on the topology, which subsequently facilitates the construction of graph signals. A diffusion convolution module is developed, forming a new MARL algorithm, which endows agents with the capabilities of graph learning. Extensive experiments based on both synthetic and real-world datasets verify that our proposal outperforms existing decentralized algorithms.
• Abstract（参考訳）: 本稿では,複雑なネットワークシステム制御問題として検討されてきたスマートシティにおける交通信号の最適制御について考察する。 信号機と道路ネットワーク間の相互作用のダイナミクスを考えると、制御器の適応性とスケーラビリティが主な課題である。 MARL(Multi-Agent Reinforcement Learning)の枠組みの下で信号機間の時空間相関を捉えることは有望な解決法である。 それでも既存のMARLアルゴリズムは、分散エージェントの学習能力向上の基礎となる効果的な情報集約を無視している。 本稿では,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 特に,道路ネットワークのトポロジを,トポロジ上の拡散過程を形成してグラフシフト演算子に転送し,グラフ信号の構築を容易にする。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。 合成データと実世界データの両方に基づく広範な実験により,提案手法が既存の分散アルゴリズムよりも優れていることを検証した。

関連論文リスト

• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Towards Multi-agent Reinforcement Learning based Traffic Signal Control through Spatio-temporal Hypergraphs [19.107744041461316]
  交通信号制御システム(TSCS)は、インテリジェントな交通管理に不可欠なものであり、効率的な車両の流れを育んでいる。 従来のアプローチでは、道路網を標準的なグラフに単純化することが多い。 本稿では,インテリジェントトラフィック制御を実現するための新しいTSCSフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-17T02:46:18Z)
• Learning State-Augmented Policies for Information Routing in Communication Networks [92.59624401684083]
  我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。 教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。 実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-30T04:34:25Z)
• Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
  本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。 AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。 2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T14:50:27Z)
• Improving the generalizability and robustness of large-scale traffic signal control [3.8028221877086814]
  交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。 欠落したデータに対して,近年の手法が脆弱なままであることを示す。 政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-06-02T21:30:44Z)
• DMGCRN: Dynamic Multi-Graph Convolution Recurrent Network for Traffic Forecasting [7.232141271583618]
  以上の問題に対処する新しい動的多重グラフ畳み込み再帰ネットワーク(DMG)を提案する。 距離に基づくグラフを用いて,距離の近いノードから空間情報をキャプチャする。 また,道路間の構造相関を符号化した新しい潜在グラフを構築し,ノードから空間情報をキャプチャする。
  論文  参考訳（メタデータ） (2021-12-04T06:51:55Z)
• A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization [14.455497228170646]
  非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。 本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T14:11:04Z)
• Multi-intersection Traffic Optimisation: A Benchmark Dataset and a Strong Baseline [85.9210953301628]
  交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。 問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。 エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2021-01-24T03:55:39Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。