論文の概要: Lyapunov Function Consistent Adaptive Network Signal Control with Back
Pressure and Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2210.02612v2
- Date: Wed, 17 Jan 2024 03:15:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 22:14:29.270673
- Title: Lyapunov Function Consistent Adaptive Network Signal Control with Back
Pressure and Reinforcement Learning
- Title（参考訳）: バックプレッシャと強化学習を用いたリアプノフ関数整合適応型ネットワーク信号制御
- Authors: Chaolun Ma, Bruce Wang, Zihao Li, Ahmadreza Mahmoudzadeh, Yunlong
Zhang
- Abstract要約: 本研究では、それぞれ特定のリャプノフ関数を定義するリアプノフ制御理論を用いた統一的なフレームワークを提案する。
Lyapunov理論の知見に基づいて、この研究は強化学習(Reinforcement Learning, RL)に基づくネットワーク信号制御のための報酬関数を設計する。
提案アルゴリズムは, 純旅客車流および貨物を含む異種交通流下での従来のRL法およびRL法と比較した。
- 参考スコア（独自算出の注目度）: 9.797994846439527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In traffic signal control, flow-based (optimizing the overall flow) and
pressure-based methods (equalizing and alleviating congestion) are commonly
used but often considered separately. This study introduces a unified framework
using Lyapunov control theory, defining specific Lyapunov functions
respectively for these methods. We have found interesting results. For example,
the well-recognized back-pressure method is equal to differential queue lengths
weighted by intersection lane saturation flows. We further improve it by adding
basic traffic flow theory. Rather than ensuring that the control system be
stable, the system should be also capable of adaptive to various performance
metrics. Building on insights from Lyapunov theory, this study designs a reward
function for the Reinforcement Learning (RL)-based network signal control,
whose agent is trained with Double Deep Q-Network (DDQN) for effective control
over complex traffic networks. The proposed algorithm is compared with several
traditional and RL-based methods under pure passenger car flow and heterogenous
traffic flow including freight, respectively. The numerical tests demonstrate
that the proposed method outperforms the alternative control methods across
different traffic scenarios, covering corridor and general network situations
each with varying traffic demands, in terms of the average network vehicle
waiting time per vehicle.
- Abstract（参考訳）: 交通信号制御では、フローベース(全体の流れを最適化する)と圧力ベース(混雑の等化と緩和)が一般的であるが、しばしば別々に考慮される。
本研究は, Lyapunov 制御理論を用いた統一フレームワークを導入し, これらの手法についてそれぞれ特定の Lyapunov 関数を定義する。
興味深い結果が得られました。
例えば、よく認識されたバックプレッシャ法は、交差レーン飽和流によって重み付けられた差分キュー長と等しい。
基本的な交通流理論を追加してさらに改善する。
制御システムが安定していることを保証するのではなく、システムは様々なパフォーマンスメトリクスに適応できるべきである。
Lyapunov理論の知見に基づいて,複雑なトラフィックネットワークを効果的に制御するためにDouble Deep Q-Network(DDQN)を用いてエージェントを訓練したReinforcement Learning(RL)ベースのネットワーク信号制御のための報酬関数を設計する。
提案手法は, 純客車流下および貨物を含む異種交通流下において, 従来のRL法とRL法を比較した。
数値実験により,提案手法は,各車両の平均ネットワーク車両待ち時間の観点から,各経路および一般ネットワーク状況の異なる交通シナリオにおける代替制御方法よりも優れた性能を示すことが示された。
関連論文リスト
- Reinforcement Learning for Adaptive Traffic Signal Control: Turn-Based and Time-Based Approaches to Reduce Congestion [2.733700237741334]
本稿では,交差点における信号処理の強化にReinforcement Learning(強化学習)を用いることについて検討する。
本稿では,リアルタイム待ち行列長に基づく信号の動的優先順位付けを行うターンベースエージェントと,交通条件に応じた信号位相長の調整を行うタイムベースエージェントの2つのアルゴリズムを紹介する。
シミュレーションの結果、両RLアルゴリズムは従来の信号制御システムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-08-28T12:35:56Z) - A Holistic Framework Towards Vision-based Traffic Signal Control with
Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。
本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。
我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2024-03-11T16:42:29Z) - Improving the generalizability and robustness of large-scale traffic
signal control [3.8028221877086814]
交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。
欠落したデータに対して,近年の手法が脆弱なままであることを示す。
政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
論文 参考訳（メタデータ） (2023-06-02T21:30:44Z) - Unified Automatic Control of Vehicular Systems with Reinforcement
Learning [64.63619662693068]
本稿では,車載マイクロシミュレーションの合理化手法について述べる。
最小限の手動設計で高性能な制御戦略を発見する。
この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
論文 参考訳（メタデータ） (2022-07-30T16:23:45Z) - Comparative analysis of machine learning methods for active flow control [60.53767050487434]
遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。
この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
論文 参考訳（メタデータ） (2022-02-23T18:11:19Z) - A Deep Reinforcement Learning Approach for Traffic Signal Control
Optimization [14.455497228170646]
非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。
本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
論文 参考訳（メタデータ） (2021-07-13T14:11:04Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2021-04-28T07:54:40Z) - Federated Learning on the Road: Autonomous Controller Design for
Connected and Autonomous Vehicles [109.71532364079711]
CAV(コネクテッド・アンド・自律車両)の自律制御設計のための新しい統合学習(FL)フレームワークの提案
CAVの移動性、無線フェーディングチャネル、および不均衡で非独立で同一に分散されたデータを考慮に入れた新しい動的フェデレーション・プロキシ(DFP)アルゴリズムが提案されている。
最適制御器を用いてCAVがどの程度の速度で収束するかを同定するために,提案アルゴリズムに対して厳密な収束解析を行う。
論文 参考訳（メタデータ） (2021-02-05T19:57:47Z) - MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。
近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。
本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
論文 参考訳（メタデータ） (2021-01-04T03:06:08Z) - Adaptive Traffic Control with Deep Reinforcement Learning: Towards
State-of-the-art and Beyond [1.3999481573773072]
強化学習(RL)を用いた適応型データ誘導交通計画と制御について検討する。
高速で信頼性の高い交通意思決定ツールとして,交通制御のための新しいDQNアルゴリズム(TC-DQN+)を提案する。
論文 参考訳（メタデータ） (2020-07-21T17:26:20Z) - Learning Scalable Multi-Agent Coordination by Spatial Differentiation
for Traffic Signal Control [8.380832628205372]
交通信号制御のためのディープ強化学習法に基づくマルチエージェント協調フレームワークを設計する。
具体的には、リプレイバッファ内の時間空間情報を用いて各アクションの報酬を補正する調整のための空間差分法を提案する。
論文 参考訳（メタデータ） (2020-02-27T02:16:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。