論文の概要: Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control
- arxiv url: http://arxiv.org/abs/2407.08964v1
- Date: Fri, 12 Jul 2024 03:28:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:56:38.763096
- Title: Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control
- Title（参考訳）: 協調型適応型クルーズ制御のためのコミュニケーション・アウェア強化学習
- Authors: Sicong Jiang, Seongjin Choi, Lijun Sun,
- Abstract要約: 強化学習(RL)はCACCにおける複雑な意思決定プロセスの最適化に有効であることが証明されている。
MARLは、複数のCAV間で協調的な動作を可能にすることで、顕著な可能性を示している。
これらの課題に対処するために,コミュニケーション対応強化学習(CA-RL)を提案する。
- 参考スコア（独自算出の注目度）: 15.31488551912888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cooperative Adaptive Cruise Control (CACC) plays a pivotal role in enhancing traffic efficiency and safety in Connected and Autonomous Vehicles (CAVs). Reinforcement Learning (RL) has proven effective in optimizing complex decision-making processes in CACC, leading to improved system performance and adaptability. Among RL approaches, Multi-Agent Reinforcement Learning (MARL) has shown remarkable potential by enabling coordinated actions among multiple CAVs through Centralized Training with Decentralized Execution (CTDE). However, MARL often faces scalability issues, particularly when CACC vehicles suddenly join or leave the platoon, resulting in performance degradation. To address these challenges, we propose Communication-Aware Reinforcement Learning (CA-RL). CA-RL includes a communication-aware module that extracts and compresses vehicle communication information through forward and backward information transmission modules. This enables efficient cyclic information propagation within the CACC traffic flow, ensuring policy consistency and mitigating the scalability problems of MARL in CACC. Experimental results demonstrate that CA-RL significantly outperforms baseline methods in various traffic scenarios, achieving superior scalability, robustness, and overall system performance while maintaining reliable performance despite changes in the number of participating vehicles.
- Abstract（参考訳）: コラボレーティブ・アダプティブ・クルーズ・コントロール(CACC)は、コネクテッド・アンド・オートマチック・ビークルズ(CAV)における交通効率と安全性を高める上で重要な役割を担っている。
強化学習(RL)は、CACCにおける複雑な意思決定プロセスの最適化に有効であることが証明され、システム性能と適応性が改善された。
RLのアプローチの中で、マルチエージェント強化学習(MARL)は、分散実行による集中訓練(CTDE)を通じて、複数のCAV間で協調的な行動を可能にすることで、顕著な可能性を示している。
しかし、MARLはスケーラビリティの問題に直面することが多く、特にCACC車両が突然小隊に加わるか去ると性能が低下する。
これらの課題に対処するため,コミュニケーション・アウェア・強化学習(CA-RL)を提案する。
CA-RLは、前方および後方情報伝送モジュールを介して車両の通信情報を抽出し、圧縮する通信対応モジュールを含む。
これにより、CACCトラフィックフロー内での効率的な循環情報伝搬が可能となり、ポリシーの整合性を確保し、CACCにおけるMARLのスケーラビリティ問題を軽減できる。
実験の結果,CA-RLは様々な交通シナリオにおいてベースライン法よりも優れており,車両数の変化にもかかわらず信頼性の高い性能を維持しつつ,優れたスケーラビリティ,堅牢性,システム全体の性能を実現していることがわかった。
関連論文リスト
- Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [79.088116316919]
コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。
本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
論文 参考訳（メタデータ） (2024-09-19T14:36:00Z) - Mitigating Partial Observability in Adaptive Traffic Signal Control with Transformers [26.1987660654434]
Reinforcement Learning (RL) は、適応的な交通信号制御(ATSC)システムを強化するための有望なアプローチとして登場した。
本稿では、部分観測可能性(PO)に対処するため、TransformerベースのコントローラをATSCシステムに統合する。
その結果,トランスフォーマーをベースとしたモデルでは,過去の観測から重要な情報を捉えることができ,制御ポリシが向上し,トラフィックフローが改善された。
論文 参考訳（メタデータ） (2024-09-16T19:46:15Z) - Convergence of Communications, Control, and Machine Learning for Secure
and Autonomous Vehicle Navigation [78.60496411542549]
接続された自動運転車(CAV)は、交通事故におけるヒューマンエラーを低減し、道路効率を向上し、様々なタスクを実行する。これらのメリットを享受するためには、CAVが目標とする目的地へ自律的にナビゲートする必要がある。
本稿では,通信理論,制御理論,機械学習の収束を利用して,効果的なCAVナビゲーションを実現する手法を提案する。
論文 参考訳（メタデータ） (2023-07-05T21:38:36Z) - Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning
Framework for Congestion Control in Tactical Environments [53.08686495706487]
本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。
衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
論文 参考訳（メタデータ） (2023-06-27T16:15:15Z) - AI-aided Traffic Control Scheme for M2M Communications in the Internet
of Vehicles [61.21359293642559]
交通のダイナミクスと異なるIoVアプリケーションの異種要求は、既存のほとんどの研究では考慮されていない。
本稿では,ハイブリッド交通制御方式とPPO法を併用して検討する。
論文 参考訳（メタデータ） (2022-03-05T10:54:05Z) - Learning to Help Emergency Vehicles Arrive Faster: A Cooperative
Vehicle-Road Scheduling Approach [24.505687255063986]
車両中心のスケジューリングアプローチは、緊急車両の最適経路を推奨する。
道路中心のスケジューリングアプローチは、交通状況を改善し、EVが交差点を通過するための優先度を高めることを目的としている。
本稿では,リアルタイム経路計画モジュールと協調交通信号制御モジュールを含む協調型VehIcle-roaDスケジューリング手法であるLEVIDを提案する。
論文 参考訳（メタデータ） (2022-02-20T10:25:15Z) - Attacking Deep Reinforcement Learning-Based Traffic Signal Control
Systems with Colluding Vehicles [4.2455052426413085]
本稿では,DRLをベースとしたATCSに対して,車両群が連携して偽情報を送信できる,新たな課題を定式化する。
CollusionVehは、道路状況エンコーダ、車両インタプリタ、通信機構で構成される汎用的で効果的な車両処理フレームワークである。
この研究結果は、ATCSの信頼性と堅牢性を改善し、スマートモビリティシステムを保護するのに役立つだろう。
論文 参考訳（メタデータ） (2021-11-04T13:10:33Z) - Transferable Deep Reinforcement Learning Framework for Autonomous
Vehicles with Joint Radar-Data Communications [69.24726496448713]
本稿では,AVの最適決定を支援するために,マルコフ決定プロセス(MDP)に基づくインテリジェントな最適化フレームワークを提案する。
そこで我々は,近年の深層強化学習技術を活用した効果的な学習アルゴリズムを開発し,AVの最適方針を見出す。
提案手法は,従来の深部強化学習手法と比較して,AVによる障害物ミス検出確率を最大67%削減することを示す。
論文 参考訳（メタデータ） (2021-05-28T08:45:37Z) - Vehicular Cooperative Perception Through Action Branching and Federated
Reinforcement Learning [101.64598586454571]
強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。
車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。
その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
論文 参考訳（メタデータ） (2020-12-07T02:09:15Z) - A Multi-Agent Reinforcement Learning Approach For Safe and Efficient
Behavior Planning Of Connected Autonomous Vehicles [21.132777568170702]
我々は、コネクテッド・自動運転車のための情報共有型強化学習フレームワークを設計する。
提案手法は, 平均速度と快適性の観点から, CAV システムの効率性を向上させることができることを示す。
我々は,共用視覚が早期に障害物を観測し,交通渋滞を避けるために行動を起こすのに役立つことを示すために,障害物回避シナリオを構築した。
論文 参考訳（メタデータ） (2020-03-09T19:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。