論文の概要: Enhancing Traffic Signal Control through Model-based Reinforcement Learning and Policy Reuse

• arxiv url: http://arxiv.org/abs/2503.08728v1
• Date: Tue, 11 Mar 2025 01:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:35:04.580251
• Title: Enhancing Traffic Signal Control through Model-based Reinforcement Learning and Policy Reuse
• Title（参考訳）: モデルに基づく強化学習と政策再利用による交通信号制御の強化
• Authors: Yihong Li, Chengwei Zhang, Furui Zhan, Wanting Liu, Kailing Zhou, Longji Zheng,
• Abstract要約: マルチエージェント強化学習(MARL)は交通信号制御(TSC)において有意な可能性を示した 現在のMARLベースの手法は、訓練中に使用する固定された交通パターンと道路網条件により、一般化が不十分な場合が多い。 この制限により、新しいトラフィックシナリオへの適応性が低下し、高い再トレーニングコストと複雑なデプロイメントが発生します。 我々はPLightとPRLightの2つのアルゴリズムを提案する。PLightはモデルに基づく強化学習アプローチを採用し、事前定義されたソースドメイントラフィックシナリオを用いて制御ポリシーと環境モデルを事前訓練する。PRLightはさらに、事前学習されたPLightエージェントの類似性に基づいて適応性を向上させる。
• 参考スコア（独自算出の注目度）: 0.9995933996287355
• License:
• Abstract: Multi-agent reinforcement learning (MARL) has shown significant potential in traffic signal control (TSC). However, current MARL-based methods often suffer from insufficient generalization due to the fixed traffic patterns and road network conditions used during training. This limitation results in poor adaptability to new traffic scenarios, leading to high retraining costs and complex deployment. To address this challenge, we propose two algorithms: PLight and PRLight. PLight employs a model-based reinforcement learning approach, pretraining control policies and environment models using predefined source-domain traffic scenarios. The environment model predicts the state transitions, which facilitates the comparison of environmental features. PRLight further enhances adaptability by adaptively selecting pre-trained PLight agents based on the similarity between the source and target domains to accelerate the learning process in the target domain. We evaluated the algorithms through two transfer settings: (1) adaptability to different traffic scenarios within the same road network, and (2) generalization across different road networks. The results show that PRLight significantly reduces the adaptation time compared to learning from scratch in new TSC scenarios, achieving optimal performance using similarities between available and target scenarios.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は交通信号制御(TSC)において有意な可能性を示している。 しかし、現在のMARLベースの手法は、訓練中に使用する固定的な交通パターンや道路網条件により、一般化が不十分な場合が多い。 この制限により、新しいトラフィックシナリオへの適応性が低下し、高い再トレーニングコストと複雑なデプロイメントが発生します。 この課題に対処するため、我々はPLightとPRLightの2つのアルゴリズムを提案する。 PLightは、事前定義されたソースドメイントラフィックシナリオを使用して、制御ポリシと環境モデルを事前訓練する、モデルベースの強化学習アプローチを採用している。 環境モデルは、環境特徴の比較を容易にする状態遷移を予測する。 PRLightはさらに、ソースとターゲットドメインの類似性に基づいて事前訓練されたPLightエージェントを選択して適応性を高め、ターゲットドメインでの学習プロセスを加速する。 提案手法は,(1)同一道路網内の異なる交通シナリオへの適応性,(2)異なる道路網間の一般化性を示す。 その結果,PRLight は新たな TSC シナリオのスクラッチからの学習に比べて適応時間を著しく短縮し,利用可能なシナリオとターゲットシナリオの類似性を用いて最適な性能を実現することができた。

関連論文リスト

• Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
  交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。 近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。 我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
  論文  参考訳（メタデータ） (2024-10-28T09:19:29Z)
• Reinforcement Learning for Adaptive Traffic Signal Control: Turn-Based and Time-Based Approaches to Reduce Congestion [2.733700237741334]
  本稿では,交差点における信号処理の強化にReinforcement Learning(強化学習)を用いることについて検討する。 本稿では,リアルタイム待ち行列長に基づく信号の動的優先順位付けを行うターンベースエージェントと,交通条件に応じた信号位相長の調整を行うタイムベースエージェントの2つのアルゴリズムを紹介する。 シミュレーションの結果、両RLアルゴリズムは従来の信号制御システムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-28T12:35:56Z)
• A Holistic Framework Towards Vision-based Traffic Signal Control with Microscopic Simulation [53.39174966020085]
  交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。 本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。 我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-11T16:42:29Z)
• SocialLight: Distributed Cooperation Learning towards Network-Wide Traffic Signal Control [7.387226437589183]
  SocialLightは交通信号制御のための新しいマルチエージェント強化学習手法である。 地元におけるエージェントの個人的限界貢献を推定することにより、協力的な交通規制政策を学習する。 我々は,2つの交通シミュレータの標準ベンチマークにおける最先端の交通信号制御手法に対して,トレーニングネットワークをベンチマークした。
  論文  参考訳（メタデータ） (2023-04-20T12:41:25Z)
• AI-aided Traffic Control Scheme for M2M Communications in the Internet of Vehicles [61.21359293642559]
  交通のダイナミクスと異なるIoVアプリケーションの異種要求は、既存のほとんどの研究では考慮されていない。 本稿では,ハイブリッド交通制御方式とPPO法を併用して検討する。
  論文  参考訳（メタデータ） (2022-03-05T10:54:05Z)
• Intelligent Traffic Light via Policy-based Deep Reinforcement Learning [2.0796717061432]
  本研究では,都市移動シミュレータ上での信号制御エージェントの訓練に強化学習を用いる。 政策に基づく深層強化学習手法であるPPO(Proximal Policy Optimization)を利用する。
  論文  参考訳（メタデータ） (2021-12-27T18:11:32Z)
• End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning [63.56464608571663]
  交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。 本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。 本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-28T07:54:40Z)
• AdaPool: A Diurnal-Adaptive Fleet Management Framework using Model-Free Deep Reinforcement Learning and Change Point Detection [34.77250498401055]
  本稿では,車いすによる乗り合い環境における日中パターンを認識・適応できる適応型モデルフリー深部強化手法を提案する。 本論文では, 配車における適応論理に加えて, 動的かつ需要に応じた車両通行者マッチングと経路計画の枠組みを提案する。
  論文  参考訳（メタデータ） (2021-04-01T02:14:01Z)
• MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control [54.162449208797334]
  交通信号制御は、交差点を横断する交通信号を調整し、地域や都市の交通効率を向上させることを目的としている。 近年,交通信号制御に深部強化学習(RL)を適用し,各信号がエージェントとみなされる有望な性能を示した。 本稿では,近隣情報を考慮した各交差点の分散化政策を潜時的に学習するメタ変動固有モチベーション(MetaVIM)RL法を提案する。
  論文  参考訳（メタデータ） (2021-01-04T03:06:08Z)
• Meta-Reinforcement Learning for Trajectory Design in Wireless UAV Networks [151.65541208130995]
  ドローン基地局(DBS)は、要求が動的で予測不可能な地上ユーザーへのアップリンク接続を提供するために派遣される。 この場合、DBSの軌道は動的ユーザアクセス要求を満たすように適応的に調整されなければならない。 新たな環境に遭遇したDBSの軌道に適応するために,メタラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-25T20:43:59Z)
• IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control [4.273991039651846]
  適応的な交通信号制御のスケーリングには、状態と行動空間を扱う必要がある。 本稿では,グラフ畳み込みネットワークに基づくインダクティブグラフ強化学習(IG-RL)を紹介する。 我々のモデルは、新しい道路網、交通分布、交通体制に一般化することができる。
  論文  参考訳（メタデータ） (2020-03-06T17:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。