論文の概要: Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL

• arxiv url: http://arxiv.org/abs/2011.00120v1
• Date: Fri, 30 Oct 2020 22:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 17:41:32.537263
• Title: Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL
• Title（参考訳）: 分散型自動運転車とマルチエージェントrlによる混合自律交通の最適化
• Authors: Eugene Vinitsky, Nathan Lichtle, Kanaad Parvate, Alexandre Bayen
• Abstract要約: 本研究では、完全分散制御方式を用いて、混合自律環境でのボトルネックのスループットを向上させる自動運転車の能力について検討する。 この問題にマルチエージェント強化アルゴリズムを適用し、5%の浸透速度で20%から40%の浸透速度で33%までのボトルネックスループットの大幅な改善が達成できることを実証した。
• 参考スコア（独自算出の注目度）: 63.52264764099532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the ability of autonomous vehicles to improve the throughput of a bottleneck using a fully decentralized control scheme in a mixed autonomy setting. We consider the problem of improving the throughput of a scaled model of the San Francisco-Oakland Bay Bridge: a two-stage bottleneck where four lanes reduce to two and then reduce to one. Although there is extensive work examining variants of bottleneck control in a centralized setting, there is less study of the challenging multi-agent setting where the large number of interacting AVs leads to significant optimization difficulties for reinforcement learning methods. We apply multi-agent reinforcement algorithms to this problem and demonstrate that significant improvements in bottleneck throughput, from 20\% at a 5\% penetration rate to 33\% at a 40\% penetration rate, can be achieved. We compare our results to a hand-designed feedback controller and demonstrate that our results sharply outperform the feedback controller despite extensive tuning. Additionally, we demonstrate that the RL-based controllers adopt a robust strategy that works across penetration rates whereas the feedback controllers degrade immediately upon penetration rate variation. We investigate the feasibility of both action and observation decentralization and demonstrate that effective strategies are possible using purely local sensing. Finally, we open-source our code at https://github.com/eugenevinitsky/decentralized_bottlenecks.
• Abstract（参考訳）: 本研究では,完全分散制御方式を併用した混合自律運転環境において,ボトルネックのスループットを向上させるための自律車両の能力について検討する。 サンフランシスコ・オークランド・ベイブリッジのスケールモデルでは,4車線を2車線に減らし,1車線に減らした2段ボトルネックという,スループット向上の問題を考察する。 集中型環境でのボトルネック制御の変種を調べる研究は多いが、多数の相互作用型AVが強化学習法において大きな最適化困難をもたらすような、困難なマルチエージェント設定についての研究は少ない。 本研究では,マルチエージェント強化アルゴリズムをこの問題に適用し,ボトルネックスループットの大幅な向上,すなわち5\%の浸透率で20\%から40\%の浸透率で33\%に到達できることを実証した。 実験結果と手作りのフィードバックコントローラを比較し,広範囲なチューニングにもかかわらず,結果がフィードバックコントローラを著しく上回っていることを示す。 さらに,RLをベースとした制御系は浸透速度にまたがるロバストな戦略を採用するのに対し,フィードバック制御系は浸透速度の変動によって直ちに劣化することを示した。 我々は,行動と観察の分散化の実現可能性を調査し,純粋に局所的センシングを用いて効果的な戦略が可能であることを示す。 最後に、コードをhttps://github.com/eugenevinitsky/decentralized_bottlenecksでオープンソースにしました。

関連論文リスト

• Multi-agent Assessment with QoS Enhancement for HD Map Updates in a Vehicular Network [8.853779271331508]
  Reinforcement Learning (RL)アルゴリズムは、車載アドホックネットワーク(VANET)のオフロードプロセスにおける課題に対処するために使用されている。 DQN(Deep Q-learning)とAV(Actor-critic at the autonomous vehicle)は、計算負荷の増加を招き、計算装置に大きな負担とコストを発生させる可能性がある。 本稿では,分散マルチエージェント環境におけるQラーニング単一エージェントソリューションを利用したアプリケーションのスケーラビリティを評価する。
  論文  参考訳（メタデータ） (2024-07-31T09:17:09Z)
• Multi-Agent Soft Actor-Critic with Global Loss for Autonomous Mobility-on-Demand Fleet Control [1.9503475832401784]
  自律型モビリティ・オン・デマンドシステムの利益を最大化する演算子に対する逐次決定問題について検討する。 重み付きバイパルタイトマッチングと組み合わせたマルチエージェントソフトアクター・クライブアルゴリズムを用いる。 このアプローチは、ディスパッチで最大12.9%、統合された再バランシングで最大38.9%、最先端のベンチマークよりも優れています。
  論文  参考訳（メタデータ） (2024-04-10T13:49:20Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Unified Automatic Control of Vehicular Systems with Reinforcement Learning [64.63619662693068]
  本稿では,車載マイクロシミュレーションの合理化手法について述べる。 最小限の手動設計で高性能な制御戦略を発見する。 この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
  論文  参考訳（メタデータ） (2022-07-30T16:23:45Z)
• Reinforcement Learning for Mixed Autonomy Intersections [4.771833920251869]
  シミュレーショントラフィックネットワークにおける混合自律性トラフィックを制御するためのモデルフリー強化学習手法を提案する。 本手法は,任意の数の制御車両に対して,局所的な観測に基づく分散制御が可能なマルチエージェントポリシー分解を利用する。
  論文  参考訳（メタデータ） (2021-11-08T18:03:18Z)
• A Deep Value-network Based Approach for Multi-Driver Order Dispatching [55.36656442934531]
  そこで本研究では,注文発送のための深層強化学習に基づくソリューションを提案する。 DiDiの配車プラットフォーム上で大規模なオンラインA/Bテストを実施している。 その結果,CVNetは近年提案されているディスパッチ手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2021-06-08T16:27:04Z)
• Independent Reinforcement Learning for Weakly Cooperative Multiagent Traffic Control Problem [22.733542222812158]
  本研究では,irl(independent reinforcement learning)を用いて複雑な交通協調制御問題を解く。 そこで, 交通制御問題を部分的に観測可能な弱協調交通モデル (PO-WCTM) としてモデル化し, 交差点群全体の交通状況を最適化する。 実験の結果,CIL-DDQNはトラヒック制御問題のほぼすべての性能指標において,他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-04-22T07:55:46Z)
• Federated Learning on the Road: Autonomous Controller Design for Connected and Autonomous Vehicles [109.71532364079711]
  CAV(コネクテッド・アンド・自律車両)の自律制御設計のための新しい統合学習(FL)フレームワークの提案 CAVの移動性、無線フェーディングチャネル、および不均衡で非独立で同一に分散されたデータを考慮に入れた新しい動的フェデレーション・プロキシ(DFP)アルゴリズムが提案されている。 最適制御器を用いてCAVがどの程度の速度で収束するかを同定するために,提案アルゴリズムに対して厳密な収束解析を行う。
  論文  参考訳（メタデータ） (2021-02-05T19:57:47Z)
• Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion [2.0010674945048468]
  RLをベースとしたマルチエージェントCAV制御モデルを提案する。 その結果、CAVのシェアが10%以下である場合でも、CAVはハイウェイ交通のボトルネックを著しく軽減することができることが示唆された。
  論文  参考訳（メタデータ） (2020-10-12T03:52:10Z)
• Reinforcement Learning Based Vehicle-cell Association Algorithm for Highly Mobile Millimeter Wave Communication [53.47785498477648]
  本稿では,ミリ波通信網における車とセルの関連性について検討する。 まず、ユーザ状態(VU)問題を離散的な非車両関連最適化問題として定式化する。 提案手法は,複数のベースライン設計と比較して,ユーザの複雑性とVUEの20%削減の合計で最大15%のゲインが得られる。
  論文  参考訳（メタデータ） (2020-01-22T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。