論文の概要: Model-based graph reinforcement learning for inductive traffic signal control

• arxiv url: http://arxiv.org/abs/2208.00659v1
• Date: Mon, 1 Aug 2022 07:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:04:54.605871
• Title: Model-based graph reinforcement learning for inductive traffic signal control
• Title（参考訳）: 誘導的交通信号制御のためのモデルベースグラフ強化学習
• Authors: Fran\c{c}ois-Xavier Devailly, Denis Larocque, Laurent Charlin
• Abstract要約: 適応的信号制御のためのほとんどの強化学習方法は、新しい交差点に適用するために、スクラッチからトレーニングを必要とする。 近年のアプローチでは、見えない道路網のトポロジや交通分布を一般化する学習ポリシーが実現されている。 モデルに基づく新しい手法である MuJAM を導入する。
• 参考スコア（独自算出の注目度）: 4.273991039651846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most reinforcement learning methods for adaptive-traffic-signal-control require training from scratch to be applied on any new intersection or after any modification to the road network, traffic distribution, or behavioral constraints experienced during training. Considering 1) the massive amount of experience required to train such methods, and 2) that experience must be gathered by interacting in an exploratory fashion with real road-network-users, such a lack of transferability limits experimentation and applicability. Recent approaches enable learning policies that generalize for unseen road-network topologies and traffic distributions, partially tackling this challenge. However, the literature remains divided between the learning of cyclic (the evolution of connectivity at an intersection must respect a cycle) and acyclic (less constrained) policies, and these transferable methods 1) are only compatible with cyclic constraints and 2) do not enable coordination. We introduce a new model-based method, MuJAM, which, on top of enabling explicit coordination at scale for the first time, pushes generalization further by allowing a generalization to the controllers' constraints. In a zero-shot transfer setting involving both road networks and traffic settings never experienced during training, and in a larger transfer experiment involving the control of 3,971 traffic signal controllers in Manhattan, we show that MuJAM, using both cyclic and acyclic constraints, outperforms domain-specific baselines as well as another transferable approach.
• Abstract（参考訳）: 適応的信号制御のための強化学習手法の多くは、新しい交差点や道路網、交通分布、あるいは訓練中に経験した行動制約の変更の後に、スクラッチからトレーニングを行う必要がある。 考える 1)そのような方法の訓練に必要な膨大な経験、及び 2) その経験は, 実際の道路網利用者との探索的なインタラクションによって収集されなければならない。 近年のアプローチは、未確認の道路ネットワークトポロジや交通分布を一般化する学習ポリシーを実現し、この課題を部分的に解決している。 しかし、文献は循環の学習(交点における接続の進化はサイクルを尊重しなければならない)と非循環的(制約のない)ポリシーと、これらの伝達可能な方法とに分けられている。 1) 循環的制約とのみ対応し, 2) 調整を許可しない。 モデルに基づく新しい手法である MuJAM を導入する。これは,大規模で明示的な協調を可能にする上で,コントローラの制約を一般化することで,一般化をさらに進める。 マンハッタンの交通信号制御装置3,971台を制御した大規模な移動実験では,循環的制約と非循環的制約の両方を用いて,MJAMがドメイン固有のベースラインを上回り,他の転送可能なアプローチよりも優れていることを示す。

関連論文リスト

• A Holistic Framework Towards Vision-based Traffic Signal Control with Microscopic Simulation [53.39174966020085]
  交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。 本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。 我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-11T16:42:29Z)
• DenseLight: Efficient Control for Large-scale Traffic Signals with Dense Feedback [109.84667902348498]
  交通信号制御(TSC)は、道路網における車両の平均走行時間を短縮することを目的としている。 従来のTSC手法は、深い強化学習を利用して制御ポリシーを探索する。 DenseLightは、不偏報酬関数を用いてポリシーの有効性をフィードバックする新しいRTLベースのTSC手法である。
  論文  参考訳（メタデータ） (2023-06-13T05:58:57Z)
• Improving the generalizability and robustness of large-scale traffic signal control [3.8028221877086814]
  交通信号の制御における深部強化学習(RL)アプローチの堅牢性について検討する。 欠落したデータに対して,近年の手法が脆弱なままであることを示す。 政策アンサンブルによる分散強化学習とバニラ強化学習の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-06-02T21:30:44Z)
• Reinforcement Learning Approaches for Traffic Signal Control under Missing Data [5.896742981602458]
  現実世界の都市では、センサーの欠如により交通状態の観察が欠如することがある。 本稿では, 適応制御を実現するために, トラフィック状態をインプットし, 適応制御とRLエージェントの訓練を可能にするために, 状態と報酬の両方をインプットする2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T03:26:33Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning [63.56464608571663]
  交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。 本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。 本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-28T07:54:40Z)
• Multi-intersection Traffic Optimisation: A Benchmark Dataset and a Strong Baseline [85.9210953301628]
  交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。 問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。 エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2021-01-24T03:55:39Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。