論文の概要: Reinforcement Learning for Traffic Signal Control: Comparison with
Commercial Systems
- arxiv url: http://arxiv.org/abs/2104.10455v1
- Date: Wed, 21 Apr 2021 10:48:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 20:11:17.279820
- Title: Reinforcement Learning for Traffic Signal Control: Comparison with
Commercial Systems
- Title（参考訳）: 交通信号制御のための強化学習:商用システムとの比較
- Authors: Alvaro Cabrejas-Egea, Raymond Zhang, Neil Walton
- Abstract要約: Reinforcement Learning (RL)アプローチは、交通信号制御(TSC)システムでよく機能している。
RLエージェントの3つの異なるアーキテクチャを提案し、それらを現在使用されている商用システムと比較します。
既存の商用システムと比較して, RL ベースのシステムでは遅延の低減が著しく, 一貫して達成できることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, Intelligent Transportation Systems are leveraging the power of
increased sensory coverage and computing power to deliver data-intensive
solutions achieving higher levels of performance than traditional systems.
Within Traffic Signal Control (TSC), this has allowed the emergence of Machine
Learning (ML) based systems. Among this group, Reinforcement Learning (RL)
approaches have performed particularly well. Given the lack of industry
standards in ML for TSC, literature exploring RL often lacks comparison against
commercially available systems and straightforward formulations of how the
agents operate. Here we attempt to bridge that gap. We propose three different
architectures for TSC RL agents and compare them against the currently used
commercial systems MOVA, SurTrac and Cyclic controllers and provide pseudo-code
for them. The agents use variations of Deep Q-Learning and Actor Critic, using
states and rewards based on queue lengths. Their performance is compared in
across different map scenarios with variable demand, assessing them in terms of
the global delay and average queue length. We find that the RL-based systems
can significantly and consistently achieve lower delays when compared with
existing commercial systems.
- Abstract（参考訳）: 近年、インテリジェントトランスポーテーションシステムは、従来のシステムよりも高いレベルのパフォーマンスを達成するデータ集約型ソリューションを提供するために、センサカバレッジと計算能力の増大の力を活用している。
交通信号制御(TSC)内では、機械学習(ML)ベースのシステムが出現する。
このグループの中で、強化学習(RL)アプローチは特によく機能している。
ML for TSCにおける業界標準の欠如を考えると、RLを探索する文献は商業的に利用可能なシステムとの比較やエージェントの動作の直接的な定式化に欠けることが多い。
ここでは、そのギャップを橋渡しします。
現在使われている商用システムMOVA、SurTrac、Cyclicの3つの異なるアーキテクチャを提案し、それらを擬似コードで比較する。
エージェントは、キューの長さに基づいた状態と報酬を使用して、Deep Q-LearningとActor Criticのバリエーションを使用する。
彼らのパフォーマンスは、さまざまなマップシナリオで可変需要で比較され、グローバル遅延と平均キュー長の観点から評価される。
既存の商用システムと比較して, RL ベースのシステムでは遅延の低減が著しく, 一貫して達成できることがわかった。
関連論文リスト
- RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) における幻覚を緩和する効果を証明している。
現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。
本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
論文 参考訳（メタデータ） (2024-10-17T12:53:29Z) - Reinforcement Learning for Adaptive Traffic Signal Control: Turn-Based and Time-Based Approaches to Reduce Congestion [2.733700237741334]
本稿では,交差点における信号処理の強化にReinforcement Learning(強化学習)を用いることについて検討する。
本稿では,リアルタイム待ち行列長に基づく信号の動的優先順位付けを行うターンベースエージェントと,交通条件に応じた信号位相長の調整を行うタイムベースエージェントの2つのアルゴリズムを紹介する。
シミュレーションの結果、両RLアルゴリズムは従来の信号制御システムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-08-28T12:35:56Z) - iLLM-TSC: Integration reinforcement learning and large language model for traffic signal control policy improvement [5.078593258867346]
大規模言語モデル(LLM)と強化学習(RL)を組み合わせた新しい統合フレームワークを提案する。
提案手法は,従来のRL法と比較して,通信条件の劣化により平均待ち時間を17.5%削減する。
論文 参考訳（メタデータ） (2024-07-08T15:22:49Z) - ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。
我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。
実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-02-29T18:45:56Z) - Communication-Efficient Orchestrations for URLLC Service via
Hierarchical Reinforcement Learning [14.604814002402588]
制御ループの時間スケールが異なるマルチレベルポリシーの実装を可能にするマルチエージェント階層型RL(HRL)フレームワークを提案する。
従来技術のユースケースでは、HRLフレームワークを用いて、産業機器の最大送電量と送電電力を最適化した。
論文 参考訳（メタデータ） (2023-07-25T11:23:38Z) - Rethinking Closed-loop Training for Autonomous Driving [82.61418945804544]
本研究は,学習エージェントの成功に対する異なるトレーニングベンチマーク設計の影響を分析した最初の実証的研究である。
複数ステップのルックアヘッドで計画を行うRLベースの駆動エージェントであるtrajectory value learning (TRAVL)を提案する。
実験の結果,TRAVLはすべてのベースラインと比較してより速く学習でき,安全な操作が可能であることがわかった。
論文 参考訳（メタデータ） (2023-06-27T17:58:39Z) - Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning
Framework for Congestion Control in Tactical Environments [53.08686495706487]
本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。
衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
論文 参考訳（メタデータ） (2023-06-27T16:15:15Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Lyapunov Function Consistent Adaptive Network Signal Control with Back
Pressure and Reinforcement Learning [9.797994846439527]
本研究では、それぞれ特定のリャプノフ関数を定義するリアプノフ制御理論を用いた統一的なフレームワークを提案する。
Lyapunov理論の知見に基づいて、この研究は強化学習(Reinforcement Learning, RL)に基づくネットワーク信号制御のための報酬関数を設計する。
提案アルゴリズムは, 純旅客車流および貨物を含む異種交通流下での従来のRL法およびRL法と比較した。
論文 参考訳（メタデータ） (2022-10-06T00:22:02Z) - Learning Mean-Field Control for Delayed Information Load Balancing in
Large Queuing Systems [26.405495663998828]
本研究では,多くのクライアント(ロードバランサ)と多数の並列キューで構成される遅延情報を備えたマルチエージェントロードバランシングシステムについて考察する。
我々は、最適負荷分散ソリューションを見つけるためにポリシー勾配強化学習アルゴリズムを適用した。
我々のアプローチはスケーラブルだが、Join-the-Shortest-Queue (JSQ)の最先端のパワー・オブ・ド・バリアントと比較すると、優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-08-09T13:47:19Z) - AI-aided Traffic Control Scheme for M2M Communications in the Internet
of Vehicles [61.21359293642559]
交通のダイナミクスと異なるIoVアプリケーションの異種要求は、既存のほとんどの研究では考慮されていない。
本稿では,ハイブリッド交通制御方式とPPO法を併用して検討する。
論文 参考訳（メタデータ） (2022-03-05T10:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。