論文の概要: Learning Scalable Multi-Agent Coordination by Spatial Differentiation
for Traffic Signal Control
- arxiv url: http://arxiv.org/abs/2002.11874v3
- Date: Wed, 16 Sep 2020 07:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 09:09:09.012535
- Title: Learning Scalable Multi-Agent Coordination by Spatial Differentiation
for Traffic Signal Control
- Title（参考訳）: トラヒック信号制御のための空間微分によるスケーラブルなマルチエージェント協調学習
- Authors: Junjia Liu, Huimin Zhang, Zhuang Fu and Yao Wang
- Abstract要約: 交通信号制御のためのディープ強化学習法に基づくマルチエージェント協調フレームワークを設計する。
具体的には、リプレイバッファ内の時間空間情報を用いて各アクションの報酬を補正する調整のための空間差分法を提案する。
- 参考スコア（独自算出の注目度）: 8.380832628205372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The intelligent control of the traffic signal is critical to the optimization
of transportation systems. To achieve global optimal traffic efficiency in
large-scale road networks, recent works have focused on coordination among
intersections, which have shown promising results. However, existing studies
paid more attention to observations sharing among intersections (both explicit
and implicit) and did not care about the consequences after decisions. In this
paper, we design a multiagent coordination framework based on Deep
Reinforcement Learning methods for traffic signal control, defined as
{\gamma}-Reward that includes both original {\gamma}-Reward and
{\gamma}-Attention-Reward. Specifically, we propose the Spatial Differentiation
method for coordination which uses the temporal-spatial information in the
replay buffer to amend the reward of each action. A concise theoretical
analysis that proves the proposed model can converge to Nash equilibrium is
given. By extending the idea of Markov Chain to the dimension of space-time,
this truly decentralized coordination mechanism replaces the graph attention
method and realizes the decoupling of the road network, which is more scalable
and more in line with practice. The simulation results show that the proposed
model remains a state-of-the-art performance even not use a centralized
setting. Code is available in https://github.com/Skylark0924/Gamma Reward.
- Abstract（参考訳）: 交通信号のインテリジェントな制御は、交通システムの最適化に不可欠である。
大規模道路網におけるグローバル最適交通効率を実現するため,近年の研究では交差点間の協調が重視され,有望な結果が得られた。
しかし、既存の研究は(明示的かつ暗黙的に)交差点間での観察の共有により多くの注意を払っており、決定後の結果には関心がなかった。
本稿では,トラヒック信号制御のための深層強化学習法に基づくマルチエージェント協調フレームワークを設計・設計し,元の {\gamma}-reward と {\gamma}-attention-reward の両方を含む {\gamma}-reward として定義する。
具体的には,リプレイバッファ内の時間空間情報を用いて各アクションの報酬を補正したコーディネーションの空間微分法を提案する。
提案したモデルがナッシュ平衡に収束できることを示す簡潔な理論解析が与えられる。
マルコフ連鎖のアイデアを時空次元に拡張することにより、この真に分散したコーディネーション機構はグラフアテンション法を置き換え、よりスケーラブルで、より実践と一致した道路網の分離を実現する。
シミュレーションの結果,提案モデルは一元的な設定を使わずに,最先端の性能を保ったままであることがわかった。
コードはhttps://github.com/Skylark0924/Gamma Rewardで入手できる。
関連論文リスト
- Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。
PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
論文 参考訳（メタデータ） (2024-11-01T00:37:00Z) - Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。
周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。
我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
論文 参考訳（メタデータ） (2024-08-29T08:53:26Z) - Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph
Reinforcement Learning [42.175067773481416]
我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。
具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。
拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
論文 参考訳（メタデータ） (2023-11-07T06:43:15Z) - End-to-End Heterogeneous Graph Neural Networks for Traffic Assignment [5.205252810216621]
我々は、異種グラフニューラルネットワークのパワーを活用して、トラフィック割り当てのための新しいエンドツーエンドサロゲートモデルを提案する。
本モデルでは,アダプティブグラフアテンション機構と,原点-終点ノードペアを接続する補助的な"仮想"リンクを統合する。
提案するヘテロジニアスグラフニューラルネットワークモデルは,収束率や予測精度の観点から,従来のニューラルネットワークモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-19T23:04:09Z) - Combat Urban Congestion via Collaboration: Heterogeneous GNN-based MARL
for Coordinated Platooning and Traffic Signal Control [16.762073265205565]
本稿では、異種グラフ多エージェント強化学習と交通理論に基づいて、これらの課題に対処するための革新的な解決策を提案する。
提案手法は,1)小隊と信号制御を個別の強化学習エージェントとして設計し,各エージェント間のシームレスな情報交換を容易にするため,多エージェント強化学習にグラフニューラルネットワークを組み込んだ協調設計を行う。
論文 参考訳（メタデータ） (2023-10-17T02:46:04Z) - Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。
AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。
2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2023-06-15T14:50:27Z) - Improving the generalizability and robustness of large-scale traffic
signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。
欠落したデータに対して,近年の手法が脆弱なままであることを示す。
政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文 参考訳（メタデータ） (2023-06-02T21:30:44Z) - Lyapunov Function Consistent Adaptive Network Signal Control with Back
Pressure and Reinforcement Learning [9.797994846439527]
本研究では、それぞれ特定のリャプノフ関数を定義するリアプノフ制御理論を用いた統一的なフレームワークを提案する。
Lyapunov理論の知見に基づいて、この研究は強化学習(Reinforcement Learning, RL)に基づくネットワーク信号制御のための報酬関数を設計する。
提案アルゴリズムは, 純旅客車流および貨物を含む異種交通流下での従来のRL法およびRL法と比較した。
論文 参考訳（メタデータ） (2022-10-06T00:22:02Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2021-04-28T07:54:40Z) - Multi-intersection Traffic Optimisation: A Benchmark Dataset and a
Strong Baseline [85.9210953301628]
交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。
問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。
エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
論文 参考訳（メタデータ） (2021-01-24T03:55:39Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。