論文の概要: Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control

• arxiv url: http://arxiv.org/abs/2205.13836v1
• Date: Fri, 27 May 2022 09:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 15:23:27.394047
• Title: Feudal Multi-Agent Reinforcement Learning with Adaptive Network Partition for Traffic Signal Control
• Title（参考訳）: 適応ネットワーク分割によるフェーダルマルチエージェント強化学習による信号制御
• Authors: Jinming Ma, Feng Wu
• Abstract要約: マルチエージェント強化学習 (MARL) を応用し, 交通信号制御に大きな可能性を示した。 以前の作業では、トラフィックネットワークを複数のリージョンに分割し、封建的構造におけるエージェントのポリシーを学ぶ。 適応型ネットワーク分割を用いた新しい封建的MARL手法を提案する。
• 参考スコア（独自算出の注目度）: 44.09601435685123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent reinforcement learning (MARL) has been applied and shown great potential in multi-intersections traffic signal control, where multiple agents, one for each intersection, must cooperate together to optimize traffic flow. To encourage global cooperation, previous work partitions the traffic network into several regions and learns policies for agents in a feudal structure. However, static network partition fails to adapt to dynamic traffic flow, which will changes frequently over time. To address this, we propose a novel feudal MARL approach with adaptive network partition. Specifically, we first partition the network into several regions according to the traffic flow. To do this, we propose two approaches: one is directly to use graph neural network (GNN) to generate the network partition, and the other is to use Monte-Carlo tree search (MCTS) to find the best partition with criteria computed by GNN. Then, we design a variant of Qmix using GNN to handle various dimensions of input, given by the dynamic network partition. Finally, we use a feudal hierarchy to manage agents in each partition and promote global cooperation. By doing so, agents are able to adapt to the traffic flow as required in practice. We empirically evaluate our method both in a synthetic traffic grid and real-world traffic networks of three cities, widely used in the literature. Our experimental results confirm that our method can achieve better performance, in terms of average travel time and queue length, than several leading methods for traffic signal control.
• Abstract（参考訳）: マルチエージェント強化学習 (MARL) を応用し, 複数エージェントが協調して交通流の最適化を行うマルチセクション交通信号制御において大きな可能性を示した。 グローバルな協力を促進するため、以前の作業では、トラフィックネットワークを複数のリージョンに分割し、封建的構造におけるエージェントのポリシーを学ぶ。 しかし、静的ネットワークパーティションは動的トラフィックフローに適応できないため、時間とともに頻繁に変更される。 そこで本研究では,適応型ネットワーク分割を用いた新しいMARL手法を提案する。 具体的には、まずトラフィックフローに応じてネットワークを複数のリージョンに分割する。 そこで我々は,グラフニューラルネットワーク(GNN)を直接使用してネットワークパーティションを生成する手法と,モンテカルロ木探索(MCTS)を用いて,GNNが計算した基準で最高のパーティションを求める手法を提案する。 そして、動的ネットワーク分割によって与えられる様々な入力の次元を扱うために、GNNを用いてQmixの変種を設計する。 最後に,各パーティショニングのエージェントを管理し,グローバルな協力を促進するために封建階層を用いる。 これによってエージェントは,実際に必要なトラフィックフローに適応することができる。 本手法は,3都市の交通網と実世界の交通網の両方で実証的に評価し,文献で広く用いられている。 提案手法は,トラヒック信号制御の先駆的手法に比べて,平均走行時間と待ち行列長の点で優れた性能が得られることを確認した。

関連論文リスト

• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
  マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。 マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。 提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-10-06T02:35:35Z)
• Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
  本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。 OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。 平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
  論文  参考訳（メタデータ） (2023-01-02T12:58:51Z)
• Multi-view Multi-label Anomaly Network Traffic Classification based on MLP-Mixer Neural Network [55.21501819988941]
  畳み込みニューラルネットワーク(CNN)に基づく既存のネットワークトラフィック分類は、グローバルな情報関連を無視しながら、トラフィックデータの局所的なパターンを強調することが多い。 本稿では,エンドツーエンドのネットワークトラフィック分類手法を提案する。
  論文  参考訳（メタデータ） (2022-10-30T01:52:05Z)
• Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
  粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。 本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。 提案手法は,高品質なトラフィックフローマップを作成できる。
  論文  参考訳（メタデータ） (2021-09-29T07:51:49Z)
• Optimal transport in multilayer networks [68.8204255655161]
  本稿では,各層上の最適フローが,コストの最小化に寄与するモデルを提案する。 アプリケーションとして,各層が異なる輸送システムに関連付けられている交通ネットワークを考察する。 この結果の例をボルドー市とバスと路面電車の2層ネットワークで示し、ある状況下では路面電車網の存在が道路網の交通を著しく覆い隠している。
  論文  参考訳（メタデータ） (2021-06-14T07:33:09Z)
• Multi-Agent Routing Value Iteration Network [88.38796921838203]
  疎結合グラフの学習値に基づいてマルチエージェントルーティングを行うことができるグラフニューラルネットワークに基づくモデルを提案する。 最大25ノードのグラフ上で2つのエージェントでトレーニングしたモデルでは,より多くのエージェントやノードを持つ状況に容易に一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-07-09T22:16:45Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。