Fugu-MT 論文翻訳(概要): Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp Metering and Perimeter Control in Large Scale Networks

論文の概要: Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp Metering and Perimeter Control in Large Scale Networks

arxiv url: http://arxiv.org/abs/2303.03395v1
Date: Sat, 4 Mar 2023 11:49:49 GMT
ステータス: 処理完了
システム内更新日: 2023-03-08 17:39:29.723410
Title: Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp Metering and Perimeter Control in Large Scale Networks
Title（参考訳）: 大規模ネットワークにおける協調ランプ計測と周辺制御のための実証誘導深部強化学習
Authors: Zijian Hu and Wei Ma
Abstract要約: 本研究では,高速道路のランプ計測と同質都市道路の周方向制御の2つの代表的な制御手法について考察する。本稿では,新しいメソマクロ動的ネットワークモデルを提案し,初めてデモ誘導DRL法を開発した。研究結果は,大規模ネットワークにおける協調制御のための従来のコントローラとDRLを組み合わせる大きな可能性を明らかにしている。
参考スコア（独自算出の注目度）: 12.296779112932741
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Effective traffic control methods have great potential in alleviating network congestion. Existing literature generally focuses on a single control approach, while few studies have explored the effectiveness of integrated and coordinated control approaches. This study considers two representative control approaches: ramp metering for freeways and perimeter control for homogeneous urban roads, and we aim to develop a deep reinforcement learning (DRL)-based coordinated control framework for large-scale networks. The main challenges are 1) there is a lack of efficient dynamic models for both freeways and urban roads; 2) the standard DRL method becomes ineffective due to the complex and non-stationary network dynamics. In view of this, we propose a novel meso-macro dynamic network model and first time develop a demonstration-guided DRL method to achieve large-scale coordinated ramp metering and perimeter control. The dynamic network model hybridizes the link and generalized bathtub models to depict the traffic dynamics of freeways and urban roads, respectively. For the DRL method, we incorporate demonstration to guide the DRL method for better convergence by introducing the concept of "teacher" and "student" models. The teacher models are traditional controllers (e.g., ALINEA, Gating), which provide control demonstrations. The student models are DRL methods, which learn from the teacher and aim to surpass the teacher's performance. To validate the proposed framework, we conduct two case studies in a small-scale network and a real-world large-scale traffic network in Hong Kong. The research outcome reveals the great potential of combining traditional controllers with DRL for coordinated control in large-scale networks.
Abstract（参考訳）: 効率的なトラヒック制御手法は,ネットワークの混雑を緩和する大きな可能性を持っている。既存の文献は一般に単一の制御アプローチに焦点をあてるが、統合的および協調的な制御アプローチの有効性を探求する研究はほとんどない。本研究では,高速道路のランプ計測と同質都市道路の周方向制御の2つの代表的な制御手法を考察し,大規模ネットワークのための深部強化学習(DRL)に基づく協調制御フレームワークの開発を目指す。主な課題は 1)高速道路と都市道路の両方に効率的なダイナミックモデルがないこと。 2) DRL法は, 複雑かつ非定常なネットワーク力学により非効率となる。そこで本研究では,新しいメソマクロ動的ネットワークモデルを提案し,大規模協調ランプ計測と周辺制御を実現するためのデモ誘導DRL法を開発した。動的ネットワークモデルはリンクと一般化バスタブモデルをそれぞれハイブリダイズし、高速道路と都市道路の交通動態を記述する。 DRL法では「教師」モデルと「学生」モデルの概念を導入し、DRL法をより良い収束に導くためのデモを取り入れた。教師モデルは従来のコントローラー(ALINEA、Gatingなど)であり、制御デモを提供する。学生モデルはDRL法であり、教師から学び、教師のパフォーマンスを上回ることを目的としている。提案手法を検証するために,香港の小規模ネットワークと実世界の大規模トラヒックネットワークの2つのケーススタディを行った。研究結果は,大規模ネットワークにおける協調制御のための従来のコントローラとDRLを組み合わせる大きな可能性を明らかにする。

関連論文リスト

Communication-Control Codesign for Large-Scale Wireless Networked Control Systems [80.30532872347668]
無線ネットワーク制御システム(Wireless Networked Control Systems, WNCS)は、ドローン群や自律ロボットなどのアプリケーションにおいて柔軟な制御を可能にする産業用4.0に必須である。本稿では,マルチ状態マルコフブロックフェーディングチャネル上で限られた無線リソースを共有するセンサやアクチュエータを用いて,複数の制御ループ間の相関ダイナミクスを捕捉する実用的WNCSモデルを提案する。本研究では,ハイブリッドな動作空間を効率的に処理し,通信制御の相関関係を捉え,疎域変数や浮動小数点制御の入力に拘わらず堅牢なトレーニングを確実にするDeep Reinforcement Learning (DRL)アルゴリズムを開発した。
論文参考訳（メタデータ） (2024-10-15T06:28:21Z)
Generalizing Cooperative Eco-driving via Multi-residual Task Learning [6.864745785996583]
MRTL(Multi-Residual Task Learning)はマルチタスク学習に基づく汎用的な学習フレームワークである。 MRTLは制御を従来の制御法と残留項によって効果的に解決される名目成分に分解する。我々は、システム制御の手段として自律走行車を用いた混合交通における艦隊レベルの排出削減にMRTLを使用している。
論文参考訳（メタデータ） (2024-03-07T05:25:34Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2023-06-06T02:24:41Z)
Improving the generalizability and robustness of large-scale traffic signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。欠落したデータに対して,近年の手法が脆弱なままであることを示す。政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文参考訳（メタデータ） (2023-06-02T21:30:44Z)
Reinforcement Learning Approaches for Traffic Signal Control under Missing Data [5.896742981602458]
現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
論文参考訳（メタデータ） (2023-04-21T03:26:33Z)
DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文参考訳（メタデータ） (2022-08-04T04:35:53Z)
Unified Automatic Control of Vehicular Systems with Reinforcement Learning [64.63619662693068]
本稿では,車載マイクロシミュレーションの合理化手法について述べる。最小限の手動設計で高性能な制御戦略を発見する。この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
論文参考訳（メタデータ） (2022-07-30T16:23:45Z)
A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文参考訳（メタデータ） (2021-07-13T14:11:04Z)
MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文参考訳（メタデータ） (2021-01-04T03:06:08Z)
IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
論文参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。