論文の概要: Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent
Decision-Making in Mixed Traffic Environments
- arxiv url: http://arxiv.org/abs/2201.12776v1
- Date: Sun, 30 Jan 2022 10:09:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 17:28:42.935526
- Title: Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent
Decision-Making in Mixed Traffic Environments
- Title（参考訳）: 混在交通環境におけるマルチエージェント意思決定のためのグラフ畳み込みに基づく深層強化学習
- Authors: Qi Liu, Zirui Li, Xueyuan Li, Jingda Wu, Shihua Yuan
- Abstract要約: 本研究は,さまざまなグラフ強化学習(GRL)手法による意思決定を実現するためのフレームワークを提案する。
いくつかのGRLアプローチを要約し、提案したフレームワークで実装する。
結果は、インテリジェント輸送シナリオにおけるGRLアプローチの特徴を比較するために、複数の視点と次元で分析される。
- 参考スコア（独自算出の注目度）: 12.34509371288594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An efficient and reliable multi-agent decision-making system is highly
demanded for the safe and efficient operation of connected autonomous vehicles
in intelligent transportation systems. Current researches mainly focus on the
Deep Reinforcement Learning (DRL) methods. However, utilizing DRL methods in
interactive traffic scenarios is hard to represent the mutual effects between
different vehicles and model the dynamic traffic environments due to the lack
of interactive information in the representation of the environments, which
results in low accuracy of cooperative decisions generation. To tackle these
difficulties, this research proposes a framework to enable different Graph
Reinforcement Learning (GRL) methods for decision-making, and compares their
performance in interactive driving scenarios. GRL methods combinate the Graph
Neural Network (GNN) and DRL to achieve the better decisions generation in
interactive scenarios of autonomous vehicles, where the features of interactive
scenarios are extracted by the GNN, and cooperative behaviors are generated by
DRL framework. Several GRL approaches are summarized and implemented in the
proposed framework. To evaluate the performance of the proposed GRL methods, an
interactive driving scenarios on highway with two ramps is constructed, and
simulated experiment in the SUMO platform is carried out to evaluate the
performance of different GRL approaches. Finally, results are analyzed in
multiple perspectives and dimensions to compare the characteristic of different
GRL approaches in intelligent transportation scenarios. Results show that the
implementation of GNN can well represents the interaction between vehicles, and
the combination of GNN and DRL is able to improve the performance of the
generation of lane-change behaviors. The source code of our work can be found
at https://github.com/Jacklinkk/TorchGRL.
- Abstract（参考訳）: インテリジェント交通システムにおける連結自動運転車の安全かつ効率的な運転には,効率的かつ信頼性の高いマルチエージェント意思決定システムが必要である。
現在の研究は主に深層強化学習(DRL)手法に焦点を当てている。
しかし, 対話的交通シナリオにおけるdrl手法の利用は, 異なる車両間の相互効果を表現できないため, 動的交通環境をモデル化することが困難であり, 協調的意思決定の精度が低下する。
これらの課題に対処するため,本研究では,異なるグラフ強化学習(grl)手法による意思決定を可能にする枠組みを提案し,対話型運転シナリオにおける性能比較を行う。
GRL法はグラフニューラルネットワーク(GNN)とDRLを組み合わせることで、GNNによって対話的なシナリオの特徴が抽出され、DRLフレームワークによって協調行動が生成される自動運転車の対話的なシナリオにおいて、より良い意思決定を実現する。
いくつかのGRLアプローチを要約し、提案したフレームワークで実装する。
提案手法の性能を評価するため,2つのランプを有する高速道路における対話運転シナリオを構築し,SUMOプラットフォームにおけるシミュレーション実験を行い,異なるGRL手法の性能評価を行った。
最後に、知的輸送シナリオにおけるGRLアプローチの特徴を比較するために、複数の視点と次元で分析する。
その結果、GNNの実装は車両間の相互作用をうまく表現でき、GNNとDRLの組み合わせは車線変更行動の生成性能を向上させることができることがわかった。
私たちの作業のソースコードはhttps://github.com/Jacklinkk/TorchGRL.comで確認できます。
関連論文リスト
- End-to-end Driving in High-Interaction Traffic Scenarios with Reinforcement Learning [24.578178308010912]
これらの問題に対処するために,Ranmble というエンドツーエンドモデルベース RL アルゴリズムを提案する。
環境のダイナミックスモデルを学ぶことで、Rambleは今後のトラフィックイベントを予測し、より情報に富んだ戦略的決定を下すことができる。
Rambleは、CARLA Leaderboard 2.0におけるルート完了率と運転スコアに関する最先端のパフォーマンスを達成し、複雑でダイナミックな交通状況を管理する上での有効性を示している。
論文 参考訳（メタデータ） (2024-10-03T06:45:59Z) - Generative AI for Deep Reinforcement Learning: Framework, Analysis, and Use Cases [60.30995339585003]
深部強化学習(DRL)は様々な分野に広く適用されており、優れた成果を上げている。
DRLは、サンプル効率の低下や一般化の低さなど、いくつかの制限に直面している。
本稿では、これらの問題に対処し、DRLアルゴリズムの性能を向上させるために、生成AI(GAI)を活用する方法について述べる。
論文 参考訳（メタデータ） (2024-05-31T01:25:40Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - Action and Trajectory Planning for Urban Autonomous Driving with
Hierarchical Reinforcement Learning [1.3397650653650457]
本稿では,階層型強化学習法(atHRL)を用いた行動・軌道プランナを提案する。
我々は、複雑な都市運転シナリオにおける広範な実験を通して、atHRLの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2023-06-28T07:11:02Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected
and Automated Vehicles at Signalized Intersections [3.401874022426856]
視覚知覚法は車間通信(V2I)と統合され、より高モビリティとエネルギー効率を実現する。
HRLフレームワークには3つのコンポーネントがある。ルールベースのドライビングマネージャで、ルールベースのポリシーとRLポリシーの協調を運用する。
実験により, HRL法によりエネルギー消費量を12.70%削減し, 11.75%の移動時間を省くことができた。
論文 参考訳（メタデータ） (2022-01-19T19:31:12Z) - Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。
主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。
理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
論文 参考訳（メタデータ） (2021-11-29T06:29:49Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:24:47Z) - Vehicular Cooperative Perception Through Action Branching and Federated
Reinforcement Learning [101.64598586454571]
強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。
車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。
その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
論文 参考訳（メタデータ） (2020-12-07T02:09:15Z) - Pareto Deterministic Policy Gradients and Its Application in 5G Massive
MIMO Networks [32.099949375036495]
我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。
RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。
この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
論文 参考訳（メタデータ） (2020-12-02T15:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。