論文の概要: Perimeter Control with Heterogeneous Cordon Signal Behaviors: A
Semi-Model Dependent Reinforcement Learning Approach
- arxiv url: http://arxiv.org/abs/2308.12985v1
- Date: Thu, 24 Aug 2023 13:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 16:19:59.918016
- Title: Perimeter Control with Heterogeneous Cordon Signal Behaviors: A
Semi-Model Dependent Reinforcement Learning Approach
- Title(参考訳): 不均一なコルドン信号挙動を用いた周辺制御:半モデル依存強化学習アプローチ
- Authors: Jiajie Yu, Pierre-Antoine Laharotte, Yu Han, Ludovic Leclercq
- Abstract要約: 本稿では, 半モデル依存型マルチエージェント強化学習フレームワークを提案する。
提案手法は,MARLに基づく信号制御手法と集中型フィードバックPCポリシを統合し,保護ネットワークのコードン信号に適用する。
- 参考スコア(独自算出の注目度): 5.457083480468438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Perimeter Control (PC) strategies have been proposed to address urban road
network control in oversaturated situations by monitoring transfer flows of the
Protected Network (PN). The uniform metering rate for cordon signals in
existing studies ignores the variety of local traffic states at the
intersection level, which may cause severe local traffic congestion and ruin
the network stability. This paper introduces a semi-model dependent Multi-Agent
Reinforcement Learning (MARL) framework to conduct PC with heterogeneous cordon
signal behaviors. The proposed strategy integrates the MARL-based signal
control method with centralized feedback PC policy and is applied to cordon
signals of the PN. It operates as a two-stage system, with the feedback PC
strategy detecting the overall traffic state within the PN and then
distributing local instructions to cordon signals controlled by agents in the
MARL framework. Each cordon signal acts independently and differently, creating
a slack and distributed PC for the PN. The combination of the model-free and
model-based methods is achieved by reconstructing the action-value function of
the local agents with PC feedback reward without violating the integrity of the
local signal control policy learned from the RL training process. Through
numerical tests with different demand patterns in a microscopic traffic
environment, the proposed PC strategy (a) is shown robustness, scalability, and
transferability, (b) outperforms state-of-the-art model-based PC strategies in
increasing network throughput, reducing cordon queue and carbon emission.
- Abstract(参考訳): 保護ネットワーク(pn)の移動流を監視することにより,過飽和状況における都市道路網の制御に対処すべく周辺制御(pc)戦略が提案されている。
コードン信号の均一な測定速度は、交差点レベルでの局所的な交通状態の多様性を無視しており、深刻な局所的な交通渋滞を引き起こし、ネットワークの安定性を損なう可能性がある。
本稿では,マルチエージェント強化学習(marl, semi-model dependent multi-agent reinforcement learning)フレームワークを提案する。
提案手法は,MARLに基づく信号制御手法と集中フィードバックPCポリシを統合し,PNのコードン信号に適用する。
2段階のシステムとして動作し、フィードバックPC戦略によりPN内の全体のトラフィック状態を検出し、MARLフレームワーク内のエージェントによって制御されるコードン信号にローカル命令を分散する。
それぞれのコードン信号は独立して動作し、pn用のslackと分散pcを生成する。
モデルフリーとモデルベースの組み合わせは、rl訓練プロセスから学習したローカル信号制御ポリシーの完全性に違反することなく、pcフィードバック報酬でローカルエージェントのアクション値関数を再構成することで達成される。
微視的交通環境における需要パターンの異なる数値実験を通して,提案するpc戦略
(a)は堅牢性、スケーラビリティ、転送性を示す。
b) ネットワークスループットの向上, コードンキューの削減, 二酸化炭素排出量の削減など, 最先端のモデルベースPC戦略よりも優れていた。
関連論文リスト
- A Holistic Framework Towards Vision-based Traffic Signal Control with
Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。
本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。
我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文 参考訳(メタデータ) (2024-03-11T16:42:29Z) - Combat Urban Congestion via Collaboration: Heterogeneous GNN-based MARL
for Coordinated Platooning and Traffic Signal Control [16.762073265205565]
本稿では、異種グラフ多エージェント強化学習と交通理論に基づいて、これらの課題に対処するための革新的な解決策を提案する。
提案手法は,1)小隊と信号制御を個別の強化学習エージェントとして設計し,各エージェント間のシームレスな情報交換を容易にするため,多エージェント強化学習にグラフニューラルネットワークを組み込んだ協調設計を行う。
論文 参考訳(メタデータ) (2023-10-17T02:46:04Z) - Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning
Framework for Congestion Control in Tactical Environments [53.08686495706487]
本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。
衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
論文 参考訳(メタデータ) (2023-06-27T16:15:15Z) - Improving the generalizability and robustness of large-scale traffic
signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。
欠落したデータに対して,近年の手法が脆弱なままであることを示す。
政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-06-02T21:30:44Z) - Time-to-Green predictions for fully-actuated signal control systems with
supervised learning [56.66331540599836]
本稿では,集約信号とループ検出データを用いた時系列予測フレームワークを提案する。
我々は、最先端の機械学習モデルを用いて、将来の信号位相の持続時間を予測する。
スイスのチューリッヒの信号制御システムから得られた経験的データに基づいて、機械学習モデルが従来の予測手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-24T07:50:43Z) - Deep Reinforcement Learning for Wireless Scheduling in Distributed
Networked Control [56.77877237894372]
この研究は、分散植物、センサー、アクチュエータ、コントローラを備えた完全な分散WNCSを考慮し、限られた数の周波数チャネルを共有する。
最適な送信スケジューリング問題を決定プロセス問題に定式化し、それを解くための深層強化学習アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-09-26T11:27:12Z) - A Deep Reinforcement Learning Approach for Traffic Signal Control
Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。
本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文 参考訳(メタデータ) (2021-07-13T14:11:04Z) - Distributed Q-Learning with State Tracking for Multi-agent Networked
Control [61.63442612938345]
本稿では,LQR(Linear Quadratic Regulator)のマルチエージェントネットワークにおける分散Q-ラーニングについて検討する。
エージェントに最適なコントローラを設計するための状態追跡(ST)ベースのQ-ラーニングアルゴリズムを考案する。
論文 参考訳(メタデータ) (2020-12-22T22:03:49Z) - Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc
Wireless Networks [122.42812336946756]
集約グラフニューラルネットワーク(Agg-GNN)に基づく教師なし学習手法を設計する。
アクティベーションパターンを各ノードの特徴としてモデル化し,ポリシーに基づくリソース割り当て手法を訓練することにより,非同期性を捉える。
論文 参考訳(メタデータ) (2020-11-05T03:38:36Z) - Distributed Voltage Regulation of Active Distribution System Based on
Enhanced Multi-agent Deep Reinforcement Learning [9.7314654861242]
本稿では,スペクトルクラスタリングと拡張マルチエージェント深部強化学習(MADRL)アルゴリズムに基づくデータ駆動分散電圧制御手法を提案する。
提案手法は,システムパラメータの通信と知識の要求を大幅に低減することができる。
また、不確実性を効果的に処理し、最新のローカル情報に基づいたオンライン協調制御を提供する。
論文 参考訳(メタデータ) (2020-05-31T15:48:27Z) - Multi-agent Reinforcement Learning for Networked System Control [6.89105475513757]
本稿では,ネットワークシステム制御におけるマルチエージェント強化学習(MARL)について考察する。
我々は,NMARLにおける情報損失と非定常性を低減するため,NeurCommと呼ばれる新しい通信プロトコルを提案する。
NeurCommは学習効率と制御性能の両方で既存の通信プロトコルより優れている。
論文 参考訳(メタデータ) (2020-04-03T02:21:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。