論文の概要: Perimeter Control with Heterogeneous Cordon Signal Behaviors: A
Semi-Model Dependent Reinforcement Learning Approach
- arxiv url: http://arxiv.org/abs/2308.12985v1
- Date: Thu, 24 Aug 2023 13:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 16:19:59.918016
- Title: Perimeter Control with Heterogeneous Cordon Signal Behaviors: A
Semi-Model Dependent Reinforcement Learning Approach
- Title（参考訳）: 不均一なコルドン信号挙動を用いた周辺制御:半モデル依存強化学習アプローチ
- Authors: Jiajie Yu, Pierre-Antoine Laharotte, Yu Han, Ludovic Leclercq
- Abstract要約: 本稿では, 半モデル依存型マルチエージェント強化学習フレームワークを提案する。
提案手法は,MARLに基づく信号制御手法と集中型フィードバックPCポリシを統合し,保護ネットワークのコードン信号に適用する。
- 参考スコア（独自算出の注目度）: 5.457083480468438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Perimeter Control (PC) strategies have been proposed to address urban road
network control in oversaturated situations by monitoring transfer flows of the
Protected Network (PN). The uniform metering rate for cordon signals in
existing studies ignores the variety of local traffic states at the
intersection level, which may cause severe local traffic congestion and ruin
the network stability. This paper introduces a semi-model dependent Multi-Agent
Reinforcement Learning (MARL) framework to conduct PC with heterogeneous cordon
signal behaviors. The proposed strategy integrates the MARL-based signal
control method with centralized feedback PC policy and is applied to cordon
signals of the PN. It operates as a two-stage system, with the feedback PC
strategy detecting the overall traffic state within the PN and then
distributing local instructions to cordon signals controlled by agents in the
MARL framework. Each cordon signal acts independently and differently, creating
a slack and distributed PC for the PN. The combination of the model-free and
model-based methods is achieved by reconstructing the action-value function of
the local agents with PC feedback reward without violating the integrity of the
local signal control policy learned from the RL training process. Through
numerical tests with different demand patterns in a microscopic traffic
environment, the proposed PC strategy (a) is shown robustness, scalability, and
transferability, (b) outperforms state-of-the-art model-based PC strategies in
increasing network throughput, reducing cordon queue and carbon emission.
- Abstract（参考訳）: 保護ネットワーク(pn)の移動流を監視することにより,過飽和状況における都市道路網の制御に対処すべく周辺制御(pc)戦略が提案されている。
コードン信号の均一な測定速度は、交差点レベルでの局所的な交通状態の多様性を無視しており、深刻な局所的な交通渋滞を引き起こし、ネットワークの安定性を損なう可能性がある。
本稿では,マルチエージェント強化学習(marl, semi-model dependent multi-agent reinforcement learning)フレームワークを提案する。
提案手法は,MARLに基づく信号制御手法と集中フィードバックPCポリシを統合し,PNのコードン信号に適用する。
2段階のシステムとして動作し、フィードバックPC戦略によりPN内の全体のトラフィック状態を検出し、MARLフレームワーク内のエージェントによって制御されるコードン信号にローカル命令を分散する。
それぞれのコードン信号は独立して動作し、pn用のslackと分散pcを生成する。
モデルフリーとモデルベースの組み合わせは、rl訓練プロセスから学習したローカル信号制御ポリシーの完全性に違反することなく、pcフィードバック報酬でローカルエージェントのアクション値関数を再構成することで達成される。
微視的交通環境における需要パターンの異なる数値実験を通して,提案するpc戦略
(a)は堅牢性、スケーラビリティ、転送性を示す。
b) ネットワークスループットの向上, コードンキューの削減, 二酸化炭素排出量の削減など, 最先端のモデルベースPC戦略よりも優れていた。
関連論文リスト
- Conformal Distributed Remote Inference in Sensor Networks Under Reliability and Communication Constraints [61.62410595953275]
通信制約付き分散共形リスク制御(CD-CRC)
CD-CRCは通信制約下でのセンサネットワークのための新しい意思決定フレームワークである。
論文 参考訳（メタデータ） (2024-09-12T10:12:43Z) - Combat Urban Congestion via Collaboration: Heterogeneous GNN-based MARL
for Coordinated Platooning and Traffic Signal Control [16.762073265205565]
本稿では、異種グラフ多エージェント強化学習と交通理論に基づいて、これらの課題に対処するための革新的な解決策を提案する。
提案手法は,1)小隊と信号制御を個別の強化学習エージェントとして設計し,各エージェント間のシームレスな情報交換を容易にするため,多エージェント強化学習にグラフニューラルネットワークを組み込んだ協調設計を行う。
論文 参考訳（メタデータ） (2023-10-17T02:46:04Z) - Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning
Framework for Congestion Control in Tactical Environments [53.08686495706487]
本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。
衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
論文 参考訳（メタデータ） (2023-06-27T16:15:15Z) - Real-Time Network-Level Traffic Signal Control: An Explicit Multiagent
Coordination Method [9.761657423863706]
交通信号の効率的な制御 (TSC) は, 都市交通渋滞の低減に最も有用な方法の1つである。
強化学習(RL)手法を適用した最近の取り組みは、トラフィック状態を信号決定にリアルタイムでマッピングすることでポリシーをクエリすることができる。
本稿では,適応的,リアルタイム,ネットワークレベルのTSCを満足する,EMCに基づくオンライン計画手法を提案する。
論文 参考訳（メタデータ） (2023-06-15T04:08:09Z) - Accelerating Wireless Federated Learning via Nesterov's Momentum and
Distributed Principle Component Analysis [59.127630388320036]
サーバと作業員が無線チャネルを介して未コーディング情報を交換できるようにすることにより、無線連合学習システムについて検討する。
ワーカは、帯域幅に制限のあるチャネルを介して、しばしばサーバにローカルにアップロードするため、ワーカからサーバへのアップリンク送信は、通信ボトルネックとなる。
ワンショット分散原理成分分析(PCA)を利用して通信ボトルネックの次元を縮小する。
論文 参考訳（メタデータ） (2023-03-31T08:41:42Z) - Lyapunov Function Consistent Adaptive Network Signal Control with Back
Pressure and Reinforcement Learning [9.797994846439527]
本研究では、それぞれ特定のリャプノフ関数を定義するリアプノフ制御理論を用いた統一的なフレームワークを提案する。
Lyapunov理論の知見に基づいて、この研究は強化学習(Reinforcement Learning, RL)に基づくネットワーク信号制御のための報酬関数を設計する。
提案アルゴリズムは, 純旅客車流および貨物を含む異種交通流下での従来のRL法およびRL法と比較した。
論文 参考訳（メタデータ） (2022-10-06T00:22:02Z) - Time-to-Green predictions for fully-actuated signal control systems with
supervised learning [56.66331540599836]
本稿では,集約信号とループ検出データを用いた時系列予測フレームワークを提案する。
我々は、最先端の機械学習モデルを用いて、将来の信号位相の持続時間を予測する。
スイスのチューリッヒの信号制御システムから得られた経験的データに基づいて、機械学習モデルが従来の予測手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-24T07:50:43Z) - A Deep Reinforcement Learning Approach for Traffic Signal Control
Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。
本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文 参考訳（メタデータ） (2021-07-13T14:11:04Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z) - Multi-agent Reinforcement Learning for Networked System Control [6.89105475513757]
本稿では,ネットワークシステム制御におけるマルチエージェント強化学習(MARL)について考察する。
我々は,NMARLにおける情報損失と非定常性を低減するため,NeurCommと呼ばれる新しい通信プロトコルを提案する。
NeurCommは学習効率と制御性能の両方で既存の通信プロトコルより優れている。
論文 参考訳（メタデータ） (2020-04-03T02:21:07Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。