論文の概要: Performance Comparison of Deep RL Algorithms for Mixed Traffic Cooperative Lane-Changing
- arxiv url: http://arxiv.org/abs/2407.02521v1
- Date: Tue, 25 Jun 2024 07:49:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-07 13:14:55.075517
- Title: Performance Comparison of Deep RL Algorithms for Mixed Traffic Cooperative Lane-Changing
- Title（参考訳）: 混合交通協調車線切替における深部RLアルゴリズムの性能比較
- Authors: Xue Yao, Shengren Hou, Serge P. Hoogendoorn, Simeon C. Calvert,
- Abstract要約: 車線変更は、交通環境の複雑なダイナミクスと高い不確実性のため、コネクテッドおよび自動走行車(CAV)にとって難しいシナリオである。
本研究では,HV(Human-driven Vehicle)の不確かさと,HVとCAVの微視的相互作用を両立させることにより,現在のCLCMT機構を強化する。
4つのDRLアルゴリズムの性能比較により,DDPG,TD3,SAC,PPOアルゴリズムが交通環境の不確実性に対処可能であることが示された。
- 参考スコア（独自算出の注目度）: 3.4761212729163304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lane-changing (LC) is a challenging scenario for connected and automated vehicles (CAVs) because of the complex dynamics and high uncertainty of the traffic environment. This challenge can be handled by deep reinforcement learning (DRL) approaches, leveraging their data-driven and model-free nature. Our previous work proposed a cooperative lane-changing in mixed traffic (CLCMT) mechanism based on TD3 to facilitate an optimal lane-changing strategy. This study enhances the current CLCMT mechanism by considering both the uncertainty of the human-driven vehicles (HVs) and the microscopic interactions between HVs and CAVs. The state-of-the-art (SOTA) DRL algorithms including DDPG, TD3, SAC, and PPO are utilized to deal with the formulated MDP with continuous actions. Performance comparison among the four DRL algorithms demonstrates that DDPG, TD3, and PPO algorithms can deal with uncertainty in traffic environments and learn well-performed LC strategies in terms of safety, efficiency, comfort, and ecology. The PPO algorithm outperforms the other three algorithms, regarding a higher reward, fewer exploration mistakes and crashes, and a more comfortable and ecology LC strategy. The improvements promise CLCMT mechanism greater advantages in the LC motion planning of CAVs.
- Abstract（参考訳）: 交通環境の複雑なダイナミクスと高い不確実性のため、車線変更(LC)はコネクテッドおよび自動走行車(CAV)にとって困難なシナリオである。
この課題は、深層強化学習(DRL)アプローチによって処理され、データ駆動型でモデルフリーな性質を活用することができる。
筆者らは,TD3に基づく混合交通(CLCMT)機構の協調車線切替を提案し,最適車線切替戦略を提案した。
本研究では,HV(Human-driven Vehicle)の不確かさと,HVとCAVの微視的相互作用を両立させることにより,現在のCLCMT機構を向上する。
DDPG、TD3、SAC、PPOを含む最先端(SOTA)DRLアルゴリズムを用いて、定式化されたMDPを連続的な動作で処理する。
4つのDRLアルゴリズムの性能比較により,DDPG,TD3,PPOアルゴリズムは交通環境の不確実性に対処し,安全性,効率,快適性,エコロジーの観点から優れたLC戦略を学習できることが示された。
PPOアルゴリズムは、より高い報酬、少ない探索ミスとクラッシュ、より快適でエコロジーなLC戦略に関する他の3つのアルゴリズムよりも優れている。
改良によりCLCMT機構はCAVのLC動作計画においてより有利となる。
関連論文リスト
- Adaptive traffic signal safety and efficiency improvement by multi objective deep reinforcement learning approach [0.0]
本研究では,多目的深部強化学習(DRL)技術を活用した適応交通信号制御(ATSC)の革新的手法を提案する。
提案手法は, 安全, 効率, 脱炭目標に対処しながら, 交差点における制御戦略を強化することを目的としている。
論文 参考訳（メタデータ） (2024-08-01T13:10:41Z) - Adaptive Kalman-based hybrid car following strategy using TD3 and CACC [5.052960220478617]
自律運転においては、深部強化学習と協調適応クルーズ制御(CACC)のハイブリッド戦略は、後続車の性能を著しく向上させることができる。
固定係数に基づく従来のハイブリッド戦略では、混在するトラフィックフローのシナリオに適応することが困難である。
CACC と Twin Delayed Deep Deterministic Policy Gradient (TD3) アルゴリズムに関して,適応カルマンフィルタに基づくハイブリッドカーの追従戦略を提案する。
論文 参考訳（メタデータ） (2023-12-26T10:51:46Z) - iPLAN: Intent-Aware Planning in Heterogeneous Traffic via Distributed
Multi-Agent Reinforcement Learning [57.24340061741223]
本稿では,高密度および不均一な交通シナリオにおける軌跡や意図を予測できる分散マルチエージェント強化学習(MARL)アルゴリズムを提案する。
インテント対応プランニングのアプローチであるiPLANにより、エージェントは近くのドライバーの意図をローカルな観察からのみ推測できる。
論文 参考訳（メタデータ） (2023-06-09T20:12:02Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。
DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。
DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
論文 参考訳（メタデータ） (2022-11-03T09:08:30Z) - Unified Automatic Control of Vehicular Systems with Reinforcement
Learning [64.63619662693068]
本稿では,車載マイクロシミュレーションの合理化手法について述べる。
最小限の手動設計で高性能な制御戦略を発見する。
この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
論文 参考訳（メタデータ） (2022-07-30T16:23:45Z) - Comparative analysis of machine learning methods for active flow control [60.53767050487434]
遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。
この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
論文 参考訳（メタデータ） (2022-02-23T18:11:19Z) - Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected
and Automated Vehicles at Signalized Intersections [3.401874022426856]
視覚知覚法は車間通信(V2I)と統合され、より高モビリティとエネルギー効率を実現する。
HRLフレームワークには3つのコンポーネントがある。ルールベースのドライビングマネージャで、ルールベースのポリシーとRLポリシーの協調を運用する。
実験により, HRL法によりエネルギー消費量を12.70%削減し, 11.75%の移動時間を省くことができた。
論文 参考訳（メタデータ） (2022-01-19T19:31:12Z) - Efficient Pressure: Improving efficiency for signalized intersections [24.917612761503996]
交通信号制御(TSC)の問題を解決するために,強化学習(RL)が注目されている。
既存のRLベースの手法は、計算資源の面でコスト効率が良くなく、従来の手法よりも堅牢ではないため、ほとんどデプロイされない。
我々は,RTLに基づくアプローチに基づいて,トレーニングを減らし,複雑さを低減したTSCの適応制御系を構築する方法を示す。
論文 参考訳（メタデータ） (2021-12-04T13:49:58Z) - Network-wide traffic signal control optimization using a multi-agent
deep reinforcement learning [20.385286762476436]
非効率な交通制御は、交通渋滞やエネルギー廃棄物などの多くの問題を引き起こす可能性がある。
本論文では,交通信号間の協調性を高めることで最適制御を実現するマルチエージェント強化学習手法であるKS-DDPGを提案する。
論文 参考訳（メタデータ） (2021-04-20T12:53:08Z) - Federated Learning on the Road: Autonomous Controller Design for
Connected and Autonomous Vehicles [109.71532364079711]
CAV(コネクテッド・アンド・自律車両)の自律制御設計のための新しい統合学習(FL)フレームワークの提案
CAVの移動性、無線フェーディングチャネル、および不均衡で非独立で同一に分散されたデータを考慮に入れた新しい動的フェデレーション・プロキシ(DFP)アルゴリズムが提案されている。
最適制御器を用いてCAVがどの程度の速度で収束するかを同定するために,提案アルゴリズムに対して厳密な収束解析を行う。
論文 参考訳（メタデータ） (2021-02-05T19:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。