論文の概要: Improving the generalizability and robustness of large-scale traffic signal control

• arxiv url: http://arxiv.org/abs/2306.01925v1
• Date: Fri, 2 Jun 2023 21:30:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 21:22:25.833872
• Title: Improving the generalizability and robustness of large-scale traffic signal control
• Title（参考訳）: 大規模信号制御の一般化性とロバスト性の向上
• Authors: Tianyu Shi and Francois-Xavier Devailly and Denis Larocque and Laurent Charlin
• Abstract要約: 交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。 欠落したデータに対して,近年の手法が脆弱なままであることを示す。 政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
• 参考スコア（独自算出の注目度）: 3.8028221877086814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A number of deep reinforcement-learning (RL) approaches propose to control traffic signals. In this work, we study the robustness of such methods along two axes. First, sensor failures and GPS occlusions create missing-data challenges and we show that recent methods remain brittle in the face of these missing data. Second, we provide a more systematic study of the generalization ability of RL methods to new networks with different traffic regimes. Again, we identify the limitations of recent approaches. We then propose using a combination of distributional and vanilla reinforcement learning through a policy ensemble. Building upon the state-of-the-art previous model which uses a decentralized approach for large-scale traffic signal control with graph convolutional networks (GCNs), we first learn models using a distributional reinforcement learning (DisRL) approach. In particular, we use implicit quantile networks (IQN) to model the state-action return distribution with quantile regression. For traffic signal control problems, an ensemble of standard RL and DisRL yields superior performance across different scenarios, including different levels of missing sensor data and traffic flow patterns. Furthermore, the learning scheme of the resulting model can improve zero-shot transferability to different road network structures, including both synthetic networks and real-world networks (e.g., Luxembourg, Manhattan). We conduct extensive experiments to compare our approach to multi-agent reinforcement learning and traditional transportation approaches. Results show that the proposed method improves robustness and generalizability in the face of missing data, varying road networks, and traffic flows.
• Abstract（参考訳）: 多くの深層強化学習(RL)アプローチが交通信号を制御するために提案されている。 本研究では,2つの軸に沿った手法のロバスト性について検討する。 まず、センサーの故障とGPSの排除がデータ不足の課題を引き起こし、これらのデータ不足に直面した最近の手法が脆弱であることを示します。 第二に、RL法を異なるトラフィック構造を持つ新しいネットワークに一般化する能力をより体系的に研究する。 繰り返しますが、最近のアプローチの限界を特定します。 次に,分散学習とバニラ強化学習の組み合わせを,政策アンサンブルを用いて提案する。 グラフ畳み込みネットワーク(gcns)を用いた大規模トラヒック信号制御のための分散アプローチを用いた最先端の事前モデルに基づいて,まずdistributional reinforcement learning(disrl)アプローチを用いてモデルを学習する。 特に,暗黙の量子化ネットワーク (iqn) を用いて,量子化回帰を用いた状態応答戻り分布をモデル化する。 トラヒック信号制御問題では、標準rlとdrlのアンサンブルにより、センサデータの欠落レベルやトラフィックフローパターンなど、さまざまなシナリオで優れた性能が得られる。 さらに、得られたモデルの学習スキームは、合成ネットワークと実世界のネットワーク(例えば、マンハッタンのルクセンブルク)を含む異なる道路ネットワーク構造へのゼロショット転送性を改善することができる。 提案手法を多エージェント強化学習と従来の輸送手法と比較するための広範な実験を行った。 提案手法は, 欠落データ, 道路網, 交通流に面したロバスト性や一般化性を向上することを示す。

関連論文リスト

• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• Reinforcement Learning Approaches for Traffic Signal Control under Missing Data [5.896742981602458]
  現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。 本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T03:26:33Z)
• ADLight: A Universal Approach of Traffic Signal Control with Augmented Data Using Reinforcement Learning [3.3458830284045065]
  本稿では,拡張データ(ADLight)を用いた新しい強化学習手法を提案する。 一般化性能を向上させるために,textitmovement shuffle という新しいデータ拡張手法を開発した。 その結果,本手法の性能は,単一環境で訓練されたモデルに近いことがわかった。
  論文  参考訳（メタデータ） (2022-10-24T16:21:48Z)
• Federated Deep Learning Meets Autonomous Vehicle Perception: Design and Verification [168.67190934250868]
  フェデレーテッド・ラーニング・パワード・コネクテッド・オートモービル(FLCAV)が提案されている。 FLCAVは通信とアノテーションのコストを削減しながらプライバシを保存する。 マルチステージトレーニングのためのネットワークリソースと道路センサのポーズを決定することは困難である。
  論文  参考訳（メタデータ） (2022-06-03T23:55:45Z)
• Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
  粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。 本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。 提案手法は,高品質なトラフィックフローマップを作成できる。
  論文  参考訳（メタデータ） (2021-09-29T07:51:49Z)
• A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization [14.455497228170646]
  非効率な信号制御手法は、交通渋滞やエネルギー浪費などの多くの問題を引き起こす可能性がある。 本稿では,アクター・クリティカル・ポリシー・グラデーション・アルゴリズムを拡張し,マルチエージェント・ディープ・決定性ポリシー・グラデーション(MADDPG)法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T14:11:04Z)
• End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning [63.56464608571663]
  交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。 本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。 本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-28T07:54:40Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。