論文の概要: Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp
Metering and Perimeter Control in Large Scale Networks
- arxiv url: http://arxiv.org/abs/2303.03395v1
- Date: Sat, 4 Mar 2023 11:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 17:39:29.723410
- Title: Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp
Metering and Perimeter Control in Large Scale Networks
- Title(参考訳): 大規模ネットワークにおける協調ランプ計測と周辺制御のための実証誘導深部強化学習
- Authors: Zijian Hu and Wei Ma
- Abstract要約: 本研究では,高速道路のランプ計測と同質都市道路の周方向制御の2つの代表的な制御手法について考察する。
本稿では,新しいメソマクロ動的ネットワークモデルを提案し,初めてデモ誘導DRL法を開発した。
研究結果は,大規模ネットワークにおける協調制御のための従来のコントローラとDRLを組み合わせる大きな可能性を明らかにしている。
- 参考スコア(独自算出の注目度): 12.296779112932741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective traffic control methods have great potential in alleviating network
congestion. Existing literature generally focuses on a single control approach,
while few studies have explored the effectiveness of integrated and coordinated
control approaches. This study considers two representative control approaches:
ramp metering for freeways and perimeter control for homogeneous urban roads,
and we aim to develop a deep reinforcement learning (DRL)-based coordinated
control framework for large-scale networks. The main challenges are 1) there is
a lack of efficient dynamic models for both freeways and urban roads; 2) the
standard DRL method becomes ineffective due to the complex and non-stationary
network dynamics. In view of this, we propose a novel meso-macro dynamic
network model and first time develop a demonstration-guided DRL method to
achieve large-scale coordinated ramp metering and perimeter control. The
dynamic network model hybridizes the link and generalized bathtub models to
depict the traffic dynamics of freeways and urban roads, respectively. For the
DRL method, we incorporate demonstration to guide the DRL method for better
convergence by introducing the concept of "teacher" and "student" models. The
teacher models are traditional controllers (e.g., ALINEA, Gating), which
provide control demonstrations. The student models are DRL methods, which learn
from the teacher and aim to surpass the teacher's performance. To validate the
proposed framework, we conduct two case studies in a small-scale network and a
real-world large-scale traffic network in Hong Kong. The research outcome
reveals the great potential of combining traditional controllers with DRL for
coordinated control in large-scale networks.
- Abstract(参考訳): 効率的なトラヒック制御手法は,ネットワークの混雑を緩和する大きな可能性を持っている。
既存の文献は一般に単一の制御アプローチに焦点をあてるが、統合的および協調的な制御アプローチの有効性を探求する研究はほとんどない。
本研究では,高速道路のランプ計測と同質都市道路の周方向制御の2つの代表的な制御手法を考察し,大規模ネットワークのための深部強化学習(DRL)に基づく協調制御フレームワークの開発を目指す。
主な課題は
1)高速道路と都市道路の両方に効率的なダイナミックモデルがないこと。
2) DRL法は, 複雑かつ非定常なネットワーク力学により非効率となる。
そこで本研究では,新しいメソマクロ動的ネットワークモデルを提案し,大規模協調ランプ計測と周辺制御を実現するためのデモ誘導DRL法を開発した。
動的ネットワークモデルはリンクと一般化バスタブモデルをそれぞれハイブリダイズし、高速道路と都市道路の交通動態を記述する。
DRL法では「教師」モデルと「学生」モデルの概念を導入し、DRL法をより良い収束に導くためのデモを取り入れた。
教師モデルは従来のコントローラー(ALINEA、Gatingなど)であり、制御デモを提供する。
学生モデルはDRL法であり、教師から学び、教師のパフォーマンスを上回ることを目的としている。
提案手法を検証するために,香港の小規模ネットワークと実世界の大規模トラヒックネットワークの2つのケーススタディを行った。
研究結果は,大規模ネットワークにおける協調制御のための従来のコントローラとDRLを組み合わせる大きな可能性を明らかにする。
関連論文リスト
- Generalizing Cooperative Eco-driving via Multi-residual Task Learning [6.864745785996583]
MRTL(Multi-Residual Task Learning)はマルチタスク学習に基づく汎用的な学習フレームワークである。
MRTLは制御を従来の制御法と残留項によって効果的に解決される名目成分に分解する。
我々は、システム制御の手段として自律走行車を用いた混合交通における艦隊レベルの排出削減にMRTLを使用している。
論文 参考訳(メタデータ) (2024-03-07T05:25:34Z) - Improving the generalizability and robustness of large-scale traffic
signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。
欠落したデータに対して,近年の手法が脆弱なままであることを示す。
政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-06-02T21:30:44Z) - Reinforcement Learning Approaches for Traffic Signal Control under
Missing Data [5.896742981602458]
現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。
本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
論文 参考訳(メタデータ) (2023-04-21T03:26:33Z) - Deep Generative Model and Its Applications in Efficient Wireless Network
Management: A Tutorial and Case Study [71.8330148641267]
ディープジェネレーションモデル(DGM)は2022年から爆発的な成長を遂げている。
本稿では,無線ネットワーク管理の効率化に向けたDGMの応用について検討する。
論文 参考訳(メタデータ) (2023-03-30T02:59:51Z) - Deep Learning for Wireless Networked Systems: a joint
Estimation-Control-Scheduling Approach [47.29474858956844]
ワイヤレスネットワーク制御システム(Wireless Networked Control System, WNCS)は、無線通信を介してセンサ、コントローラ、アクチュエータを接続する技術であり、産業用 4.0 時代において、高度にスケーラブルで低コストな制御システムの展開を可能にする技術である。
WNCSにおける制御と通信の密接な相互作用にもかかわらず、既存のほとんどの研究は分離設計アプローチを採用している。
モデルフリーデータとモデルベースデータの両方を利用する制御と最適化のための,DRLに基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-03T01:29:40Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - DL-DRL: A double-level deep reinforcement learning approach for
large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。
特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。
また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文 参考訳(メタデータ) (2022-08-04T04:35:53Z) - Unified Automatic Control of Vehicular Systems with Reinforcement
Learning [64.63619662693068]
本稿では,車載マイクロシミュレーションの合理化手法について述べる。
最小限の手動設計で高性能な制御戦略を発見する。
この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
論文 参考訳(メタデータ) (2022-07-30T16:23:45Z) - A Deep Reinforcement Learning Approach for Traffic Signal Control
Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。
本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文 参考訳(メタデータ) (2021-07-13T14:11:04Z) - Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous
Vehicles and Multi-Agent RL [63.52264764099532]
本研究では、完全分散制御方式を用いて、混合自律環境でのボトルネックのスループットを向上させる自動運転車の能力について検討する。
この問題にマルチエージェント強化アルゴリズムを適用し、5%の浸透速度で20%から40%の浸透速度で33%までのボトルネックスループットの大幅な改善が達成できることを実証した。
論文 参考訳(メタデータ) (2020-10-30T22:06:05Z) - IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic
Signal Control [4.273991039651846]
適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。
本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。
我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
論文 参考訳(メタデータ) (2020-03-06T17:17:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。