論文の概要: Robust Dynamic Bus Control: A Distributional Multi-agent Reinforcement
Learning Approach
- arxiv url: http://arxiv.org/abs/2111.01946v1
- Date: Tue, 2 Nov 2021 23:41:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-04 13:44:12.660456
- Title: Robust Dynamic Bus Control: A Distributional Multi-agent Reinforcement
Learning Approach
- Title(参考訳): ロバスト動的バス制御:分散マルチエージェント強化学習アプローチ
- Authors: Jiawei Wang, Lijun Sun
- Abstract要約: バスの束縛は、バスシステムの効率性と信頼性を損なう一般的な現象である。
我々は,連続制御学習のための分散MARLフレームワーク,IQNC-Mを開発した。
提案するIQNC-Mフレームワークは,様々な極端な事象を効果的に処理できることを示す。
- 参考スコア(独自算出の注目度): 11.168121941015013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bus system is a critical component of sustainable urban transportation.
However, the operation of a bus fleet is unstable in nature, and bus bunching
has become a common phenomenon that undermines the efficiency and reliability
of bus systems. Recently research has demonstrated the promising application of
multi-agent reinforcement learning (MARL) to achieve efficient vehicle holding
control to avoid bus bunching. However, existing studies essentially overlook
the robustness issue resulting from various events, perturbations and anomalies
in a transit system, which is of utmost importance when transferring the models
for real-world deployment/application. In this study, we integrate implicit
quantile network and meta-learning to develop a distributional MARL framework
-- IQNC-M -- to learn continuous control. The proposed IQNC-M framework
achieves efficient and reliable control decisions through better handling
various uncertainties/events in real-time transit operations. Specifically, we
introduce an interpretable meta-learning module to incorporate global
information into the distributional MARL framework, which is an effective
solution to circumvent the credit assignment issue in the transit system. In
addition, we design a specific learning procedure to train each agent within
the framework to pursue a robust control policy. We develop simulation
environments based on real-world bus services and passenger demand data and
evaluate the proposed framework against both traditional holding control models
and state-of-the-art MARL models. Our results show that the proposed IQNC-M
framework can effectively handle the various extreme events, such as traffic
state perturbations, service interruptions, and demand surges, thus improving
both efficiency and reliability of the system.
- Abstract(参考訳): バスシステムは持続可能な都市交通の重要な要素である。
しかし、バス車両の運用は本質的に不安定であり、バス輸送はバスシステムの効率と信頼性を損なう一般的な現象となっている。
近年,マルチエージェント強化学習(MARL)による効率的な車両保持制御を実現し,バスの群れ回避を図っている。
しかしながら、既存の研究では、トランジットシステムにおけるさまざまなイベント、摂動、異常に起因する堅牢性の問題を見落としている。
本研究では,暗黙の質的ネットワークとメタラーニングを統合し,分布型marlフレームワーク iqnc-m を開発し,連続制御を学習する。
提案するiqnc-mフレームワークは、リアルタイムトランジット操作における様々な不確実性/事象の処理を改善することにより、効率的で信頼性の高い制御決定を実現する。
具体的には,グローバル情報を分散marlフレームワークに組み込むための解釈可能なメタラーニングモジュールを提案する。
さらに,フレームワーク内の各エージェントを訓練し,堅牢な制御ポリシーを追求する,特定の学習手順を設計する。
実世界のバスサービスと乗客需要データに基づくシミュレーション環境を構築し、従来の保持制御モデルと最先端のmarlモデルの両方に対して提案手法を評価する。
提案するIQNC-Mフレームワークは,交通状態の摂動,サービス中断,需要急増といった極端な事象を効果的に処理し,システムの効率性と信頼性を向上できることを示す。
関連論文リスト
- Controllable Safety-Critical Closed-loop Traffic Simulation via Guided
Diffusion [100.4988219600854]
誘導拡散モデルに根ざした新しいクローズドループシミュレーションフレームワークを提案する。
提案手法は, 現実の条件を密にエミュレートする現実的なロングテールシナリオの生成と, 制御性の向上という, 二つの異なる利点をもたらす。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - Reinforcement Learning with Model Predictive Control for Highway Ramp
Metering [16.1718917168364]
この研究は、交通フロー管理を強化するためのモデルベースと学習ベースの戦略の相乗効果について考察する。
制御問題は、適切なステージコスト関数を作成することにより、RLタスクとして定式化される。
2つのパラダイムの利点を融合した MPC ベースの RL アプローチが提案され,オンランプを効率的に制御する方法が提案されている。
論文 参考訳(メタデータ) (2023-11-15T09:50:54Z) - MTR++: Multi-Agent Motion Prediction with Symmetric Scene Modeling and
Guided Intention Querying [110.83590008788745]
自律運転システムにとって、複雑な運転シナリオを理解し、情報的な決定を下すためには、動きの予測が不可欠である。
本稿では,これらの課題に対処するためのMotion TRansformer (MTR) フレームワークを提案する。
最初のMTRフレームワークは、学習可能な意図クエリを備えたトランスフォーマーエンコーダ-デコーダ構造を利用する。
複数のエージェントに対するマルチモーダル動作を同時に予測するMTR++フレームワークを導入する。
論文 参考訳(メタデータ) (2023-06-30T16:23:04Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-03-27T02:55:56Z) - Learning to Control Autonomous Fleets from Observation via Offline
Reinforcement Learning [3.9121134770873733]
オフライン強化学習のレンズによる自律移動システム制御の形式化を提案する。
オフラインRLは、経済的にクリティカルなシステムにおいて、RLベースのソリューションを適用する上で有望なパラダイムであることを示す。
論文 参考訳(メタデータ) (2023-02-28T18:31:07Z) - MMRNet: Improving Reliability for Multimodal Object Detection and
Segmentation for Bin Picking via Multimodal Redundancy [68.7563053122698]
マルチモーダル冗長性(MMRNet)を用いた信頼度の高いオブジェクト検出・分割システムを提案する。
これは、マルチモーダル冗長の概念を導入し、デプロイ中のセンサ障害問題に対処する最初のシステムである。
システム全体の出力信頼性と不確実性を測定するために,すべてのモダリティからの出力を利用する新しいラベルフリーマルチモーダル整合性(MC)スコアを提案する。
論文 参考訳(メタデータ) (2022-10-19T19:15:07Z) - Isolating and Leveraging Controllable and Noncontrollable Visual
Dynamics in World Models [65.97707691164558]
Iso-DreamはDream-to-Controlフレームワークを2つの側面で改善する。
まず、逆動力学を最適化することにより、世界モデルに制御可能で制御不能な情報源を学習させることを奨励する。
第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
論文 参考訳(メタデータ) (2022-05-27T08:07:39Z) - UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning
Leveraging Planning [1.1339580074756188]
オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。
自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。
これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
論文 参考訳(メタデータ) (2021-11-22T10:37:52Z) - A Modular and Transferable Reinforcement Learning Framework for the
Fleet Rebalancing Problem [2.299872239734834]
モデルフリー強化学習(RL)に基づく艦隊再バランスのためのモジュラーフレームワークを提案する。
動作領域のグリッド上の分布としてRL状態とアクション空間を定式化し,フレームワークをスケーラブルにする。
実世界の旅行データとネットワークデータを用いた数値実験は、このアプローチがベースライン法よりもいくつかの異なる利点があることを実証している。
論文 参考訳(メタデータ) (2021-05-27T16:32:28Z) - Reducing Bus Bunching with Asynchronous Multi-Agent Reinforcement
Learning [11.168121941015013]
バスフラッキングは、バスサービスの信頼性と効率を損なう一般的な現象である。
経路レベルのバスフリート制御を非同期マルチエージェント強化学習問題として定式化する。
古典的なアクタークリティカルアーキテクチャを拡張して、非同期問題を扱う。
論文 参考訳(メタデータ) (2021-05-02T02:08:07Z) - End-to-End Intersection Handling using Multi-Agent Deep Reinforcement
Learning [63.56464608571663]
交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。
本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。
本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
論文 参考訳(メタデータ) (2021-04-28T07:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。