論文の概要: Large-Scale Traffic Signal Control Using Constrained Network Partition
and Adaptive Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.11899v5
- Date: Thu, 7 Sep 2023 04:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:40:01.014490
- Title: Large-Scale Traffic Signal Control Using Constrained Network Partition
and Adaptive Deep Reinforcement Learning
- Title（参考訳）: 制約付きネットワーク分割と適応型深層強化学習を用いた大規模交通信号制御
- Authors: Hankang Gu, Shangbo Wang, Xiaoguang Ma, Dongyao Jia, Guoqiang Mao, Eng
Gee Lim, Cheuk Pong Ryan Wong
- Abstract要約: 近年,Multi-Adnt Deep Reinforcement Learning (MADRL)に基づく交通信号制御が注目されている。
いくつかの文献では、ネットワーク全体を複数の非結合領域に分割する地域制御アプローチを採用している。
上記の制約に対処するために、RereaLightという新しいRLトレーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 19.914106989483987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent Deep Reinforcement Learning (MADRL) based traffic signal control
becomes a popular research topic in recent years. To alleviate the scalability
issue of completely centralized RL techniques and the non-stationarity issue of
completely decentralized RL techniques on large-scale traffic networks, some
literature utilizes a regional control approach where the whole network is
firstly partitioned into multiple disjoint regions, followed by applying the
centralized RL approach to each region. However, the existing partitioning
rules either have no constraints on the topology of regions or require the same
topology for all regions. Meanwhile, no existing regional control approach
explores the performance of optimal joint action in an exponentially growing
regional action space when intersections are controlled by 4-phase traffic
signals (EW, EWL, NS, NSL). In this paper, we propose a novel RL training
framework named RegionLight to tackle the above limitations. Specifically, the
topology of regions is firstly constrained to a star network which comprises
one center and an arbitrary number of leaves. Next, the network partitioning
problem is modeled as an optimization problem to minimize the number of
regions. Then, an Adaptive Branching Dueling Q-Network (ABDQ) model is proposed
to decompose the regional control task into several joint signal control
sub-tasks corresponding to particular intersections. Subsequently, these
sub-tasks maximize the regional benefits cooperatively. Finally, the global
control strategy for the whole network is obtained by concatenating the optimal
joint actions of all regions. Experimental results demonstrate the superiority
of our proposed framework over all baselines under both real and synthetic
datasets in all evaluation metrics.
- Abstract（参考訳）: 近年,Multi-Adnt Deep Reinforcement Learning (MADRL)に基づく交通信号制御が注目されている。
大規模トラフィックネットワーク上での完全集中型RL手法のスケーラビリティ問題と完全分散型RL手法の非定常性問題を軽減するために,ネットワーク全体を複数の非結合領域に分割し,各領域に集中型RL手法を適用するという地域制御手法を用いる文献もある。
しかし、既存の分割規則は、領域のトポロジーに制約を持たないか、すべての領域に対して同じトポロジーを必要とする。
一方, 4相信号(EW, EWL, NS, NSL)により交差点が制御される場合, 指数関数的に増大する地域行動空間において, 最適関節動作の性能を探索する既存の地域制御手法は存在しない。
本稿では、上記の制約に対処するため、RereaLightという新しいRLトレーニングフレームワークを提案する。
具体的には、領域のトポロジーは、1つの中心と任意の数の葉からなる星ネットワークに最初に制約される。
次に、ネットワーク分割問題を最適化問題としてモデル化し、領域数を最小化する。
そこで, 適応分岐処理Q-Network (ABDQ) モデルを提案し, 地域制御タスクを, 特定の交差点に対応する複数の共同信号制御サブタスクに分解する。
その後、これらのサブタスクは協力的に地域利益を最大化する。
最後に、全領域の最適共同動作を連結することにより、ネットワーク全体のグローバル制御戦略を得る。
実験の結果,提案手法は実データと合成データの両方に比較して,全ての評価指標において有効であることがわかった。
関連論文リスト
- Decentralized Federated Learning Over Imperfect Communication Channels [68.08499874460857]
本稿では、分散化フェデレーション学習(D-FL)における不完全なコミュニケーションチャネルの影響を解析する。
トレーニングラウンドあたりのローカルアグリゲーションの最適な数を決定し、ネットワークトポロジと不完全なチャネルに適応する。
D-FLは、最適数の局所的なアグリゲーションを持つため、トレーニング精度が10%以上向上する可能性がある。
論文 参考訳（メタデータ） (2024-05-21T16:04:32Z) - Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。
既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。
本提案では,ガウス分布を用いた地域表現をモデル化する。
論文 参考訳（メタデータ） (2024-03-15T12:41:30Z) - SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel
Allocation in Cognitive Interference Networks [10.514231683620517]
本稿では,複数の大規模ネットワークによるキャリヤ間干渉(ICI)とチャネル再利用を経験する実世界のシステムに焦点を当てる。
CARLTON(Channel Allocation RL To Overlapped Networks)と呼ばれる分散DCAのための新しいマルチエージェント強化学習フレームワークを提案する。
本結果は,従来の最先端手法に比べて優れた効率性を示し,優れた性能とロバストな一般化を示した。
論文 参考訳（メタデータ） (2024-02-17T20:03:02Z) - A Novel Reinforcement Learning Routing Algorithm for Congestion Control
in Complex Networks [0.0]
本稿では,最短経路アルゴリズムに基づく渋滞制御と経路長最適化という,強化学習を活用するルーティングアルゴリズムを提案する。
提案手法は,バラビ・アルベルトスケールフリーネットワークだけでなく,Watts-Strogatz (小世界) や Erd"os-R'enyi (ランダムネットワーク) などのネットワークモデルでも有効であることを示す。
論文 参考訳（メタデータ） (2023-12-30T18:21:13Z) - Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。
マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。
提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
論文 参考訳（メタデータ） (2023-10-06T02:35:35Z) - Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。
OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。
平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
論文 参考訳（メタデータ） (2023-01-02T12:58:51Z) - Feudal Multi-Agent Reinforcement Learning with Adaptive Network
Partition for Traffic Signal Control [44.09601435685123]
マルチエージェント強化学習 (MARL) を応用し, 交通信号制御に大きな可能性を示した。
以前の作業では、トラフィックネットワークを複数のリージョンに分割し、封建的構造におけるエージェントのポリシーを学ぶ。
適応型ネットワーク分割を用いた新しい封建的MARL手法を提案する。
論文 参考訳（メタデータ） (2022-05-27T09:02:10Z) - Region-Based Semantic Factorization in GANs [67.90498535507106]
本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。
適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。
様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2022-02-19T17:46:02Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - Area-wide traffic signal control based on a deep graph Q-Network (DGQN)
trained in an asynchronous manner [3.655021726150368]
強化学習(RL)アルゴリズムは交通信号研究に広く応用されている。
しかし,大規模交通ネットワークにおける信号機の共同制御にはいくつかの問題がある。
論文 参考訳（メタデータ） (2020-08-05T06:13:58Z) - LRC-Net: Learning Discriminative Features on Point Clouds by Encoding
Local Region Contexts [65.79931333193016]
本稿では,LRC-Net(Local-Region-Context Network)を提案する。
LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。
その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
論文 参考訳（メタデータ） (2020-03-18T14:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。