論文の概要: SPformer: A Transformer Based DRL Decision Making Method for Connected Automated Vehicles
- arxiv url: http://arxiv.org/abs/2409.15105v1
- Date: Mon, 23 Sep 2024 15:16:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 14:33:51.554418
- Title: SPformer: A Transformer Based DRL Decision Making Method for Connected Automated Vehicles
- Title（参考訳）: SPformer:コネクテッドオートマチックカーのためのトランスフォーマーを用いたDRL決定法
- Authors: Ye Han, Lijun Zhang, Dejian Meng, Xingyu Hu, Yixia Lu,
- Abstract要約: 本稿ではトランスフォーマーと強化学習アルゴリズムに基づくCAV意思決定アーキテクチャを提案する。
学習可能なポリシートークンは、多車連携ポリシーの学習媒体として使用される。
我々のモデルは交通シナリオにおける車両の全ての状態情報をうまく活用することができる。
- 参考スコア（独自算出の注目度）: 9.840325772591024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In mixed autonomy traffic environment, every decision made by an autonomous-driving car may have a great impact on the transportation system. Because of the complex interaction between vehicles, it is challenging to make decisions that can ensure both high traffic efficiency and safety now and futher. Connected automated vehicles (CAVs) have great potential to improve the quality of decision-making in this continuous, highly dynamic and interactive environment because of their stronger sensing and communicating ability. For multi-vehicle collaborative decision-making algorithms based on deep reinforcement learning (DRL), we need to represent the interactions between vehicles to obtain interactive features. The representation in this aspect directly affects the learning efficiency and the quality of the learned policy. To this end, we propose a CAV decision-making architecture based on transformer and reinforcement learning algorithms. A learnable policy token is used as the learning medium of the multi-vehicle joint policy, the states of all vehicles in the area of interest can be adaptively noticed in order to extract interactive features among agents. We also design an intuitive physical positional encodings, the redundant location information of which optimizes the performance of the network. Simulations show that our model can make good use of all the state information of vehicles in traffic scenario, so as to obtain high-quality driving decisions that meet efficiency and safety objectives. The comparison shows that our method significantly improves existing DRL-based multi-vehicle cooperative decision-making algorithms.
- Abstract（参考訳）: 混合自律交通環境では、自動運転車によるすべての決定が交通システムに大きな影響を与える可能性がある。
車両間の複雑な相互作用のため、交通効率と安全の両立を確実にするための意思決定は困難である。
コネクテッド・オートマチック・カー(CAV)は、センサと通信能力の強化により、この連続的でダイナミックで対話的な環境における意思決定の質を向上させる大きな可能性を秘めている。
深部強化学習(DRL)に基づく多車種の協調的意思決定アルゴリズムでは,車両間の相互作用を表現し,対話的な特徴を得る必要がある。
この側面における表現は、学習効率と学習方針の質に直接影響を及ぼす。
そこで本研究では,変圧器と強化学習アルゴリズムに基づくCAV意思決定アーキテクチャを提案する。
学習可能なポリシートークンを多車両共同政策の学習媒体として使用し、興味のある分野の全車両の状態に適応してエージェント間の対話的特徴を抽出することができる。
また、ネットワークの性能を最適化する冗長な位置情報である、直感的な物理位置符号化も設計する。
シミュレーションにより,交通シナリオにおける車両の状況情報をすべて有効活用し,効率と安全性の目標を満たす高品質な運転判断を得られることを示す。
提案手法は,既存のDRLに基づく複数車両協調意思決定アルゴリズムを大幅に改善することを示す。
関連論文リスト
- Joint Channel Selection using FedDRL in V2X [20.96900576250422]
車両間通信技術(V2X)は、車両、デバイス、インフラ間の通信を可能にすることで、輸送に革命をもたらしている。
本稿では,異なる技術を持つ車両が1つ以上のアクセスポイント(AP)を選択してネットワーク上でメッセージを送信する,共同チャネル選択の問題について検討する。
本稿では,フェデレートディープ強化学習(Federated Deep Reinforcement Learning, FedDRL)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-03T14:04:08Z) - Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [79.088116316919]
コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。
本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
論文 参考訳（メタデータ） (2024-09-19T14:36:00Z) - Mix Q-learning for Lane Changing: A Collaborative Decision-Making Method in Multi-Agent Deep Reinforcement Learning [8.455482816036689]
本稿では,Mix Q-learning for Lane Changing(MQLC)を提案する。
集団レベルでは,グローバル情報を利用して個別のQネットワークとグローバルQネットワークを協調する。
個人レベルでは、深層学習に基づく意図認識モジュールを観察に統合し、意思決定ネットワークを強化した。
論文 参考訳（メタデータ） (2024-06-14T06:44:19Z) - COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked
Vehicles [54.61668577827041]
本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。
われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
論文 参考訳（メタデータ） (2022-05-04T17:55:12Z) - Learning to Help Emergency Vehicles Arrive Faster: A Cooperative
Vehicle-Road Scheduling Approach [24.505687255063986]
車両中心のスケジューリングアプローチは、緊急車両の最適経路を推奨する。
道路中心のスケジューリングアプローチは、交通状況を改善し、EVが交差点を通過するための優先度を高めることを目的としている。
本稿では,リアルタイム経路計画モジュールと協調交通信号制御モジュールを含む協調型VehIcle-roaDスケジューリング手法であるLEVIDを提案する。
論文 参考訳（メタデータ） (2022-02-20T10:25:15Z) - Learning Interaction-aware Guidance Policies for Motion Planning in
Dense Traffic Scenarios [8.484564880157148]
本稿では,高密度交通シナリオにおける対話型モーションプランニングのための新しい枠組みを提案する。
我々は,他車両の協調性に関する国際的ガイダンスを提供するインタラクション対応政策であるDeep Reinforcement Learning (RL) を通じて学習することを提案する。
学習されたポリシーは、ローカル最適化ベースのプランナーを推論し、対話的な振る舞いで誘導し、他の車両が収まらない場合に安全を維持しながら、密集したトラフィックに積極的にマージする。
論文 参考訳（メタデータ） (2021-07-09T16:43:12Z) - Transferable Deep Reinforcement Learning Framework for Autonomous
Vehicles with Joint Radar-Data Communications [69.24726496448713]
本稿では,AVの最適決定を支援するために,マルコフ決定プロセス(MDP)に基づくインテリジェントな最適化フレームワークを提案する。
そこで我々は,近年の深層強化学習技術を活用した効果的な学習アルゴリズムを開発し,AVの最適方針を見出す。
提案手法は,従来の深部強化学習手法と比較して,AVによる障害物ミス検出確率を最大67%削減することを示す。
論文 参考訳（メタデータ） (2021-05-28T08:45:37Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2021-04-28T07:54:40Z) - Improving Robustness of Learning-based Autonomous Steering Using
Adversarial Images [58.287120077778205]
自動運転用画像入力における学習アルゴリズムw.r.tの堅牢性を解析するためのフレームワークについて紹介する。
感度分析の結果を用いて, 「操縦への学習」 タスクの総合的性能を向上させるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-26T02:08:07Z) - Vehicular Cooperative Perception Through Action Branching and Federated
Reinforcement Learning [101.64598586454571]
強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。
車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。
その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
論文 参考訳（メタデータ） (2020-12-07T02:09:15Z) - Efficient Connected and Automated Driving System with Multi-agent Graph
Reinforcement Learning [22.369111982782634]
最近、コネクテッド・アンド・オートマチック・ビークル(CAV)が注目を集めている。
我々は,各自動走行車両が相互に協力関係を学べるようにすることで,交通システム全体の成果を改善する方法に焦点をあてる。
論文 参考訳（メタデータ） (2020-07-06T14:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。