論文の概要: Safe and Sustainable Electric Bus Charging Scheduling with Constrained Hierarchical DRL
- arxiv url: http://arxiv.org/abs/2512.03059v1
- Date: Tue, 25 Nov 2025 20:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-04 20:02:54.922005
- Title: Safe and Sustainable Electric Bus Charging Scheduling with Constrained Hierarchical DRL
- Title（参考訳）: 制約付き階層DRLによる安全で持続可能な電気バス充電スケジューリング
- Authors: Jiaju Qi, Lei Lei, Thorsteinn Jonsson, Dusit Niyato,
- Abstract要約: 太陽光発電(PV)パネルなどの再生可能エネルギー源を備えた電気バス(EB)は、持続可能な低炭素公共交通を推進するための有望なアプローチである。
本稿では,EB充電スケジューリング問題(EBCSP)を多ソース不確実性下で解決するための安全な深層強化学習フレームワークを提案する。
我々は新しいHDRLアルゴリズム、すなわちDouble ActorCritic MultiAgent Proximal Policy Optimization Lagrangian(DACMAPPO-Lagrangian)を開発した。
- 参考スコア（独自算出の注目度）: 43.715336081857394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Electric Buses (EBs) with renewable energy sources such as photovoltaic (PV) panels is a promising approach to promote sustainable and low-carbon public transportation. However, optimizing EB charging schedules to minimize operational costs while ensuring safe operation without battery depletion remains challenging - especially under real-world conditions, where uncertainties in PV generation, dynamic electricity prices, variable travel times, and limited charging infrastructure must be accounted for. In this paper, we propose a safe Hierarchical Deep Reinforcement Learning (HDRL) framework for solving the EB Charging Scheduling Problem (EBCSP) under multi-source uncertainties. We formulate the problem as a Constrained Markov Decision Process (CMDP) with options to enable temporally abstract decision-making. We develop a novel HDRL algorithm, namely Double Actor-Critic Multi-Agent Proximal Policy Optimization Lagrangian (DAC-MAPPO-Lagrangian), which integrates Lagrangian relaxation into the Double Actor-Critic (DAC) framework. At the high level, we adopt a centralized PPO-Lagrangian algorithm to learn safe charger allocation policies. At the low level, we incorporate MAPPO-Lagrangian to learn decentralized charging power decisions under the Centralized Training and Decentralized Execution (CTDE) paradigm. Extensive experiments with real-world data demonstrate that the proposed approach outperforms existing baselines in both cost minimization and safety compliance, while maintaining fast convergence speed.
- Abstract（参考訳）: 電気自動車(EB)と太陽光発電(PV)パネルなどの再生可能エネルギー源の統合は、持続可能な低炭素公共交通を推進するための有望なアプローチである。
しかし、EB充電スケジュールの最適化は運用コストを最小限に抑えつつ、バッテリの枯渇なしに安全な運転を確保することは依然として困難であり、特に現実の環境では、PV発生の不確実性、動的電力価格、可変走行時間、限られた充電インフラを考慮しなければならない。
本稿では,EB充電スケジューリング問題(EBCSP)を解決するための階層型深層強化学習(HDRL)フレームワークを提案する。
この問題をCMDP(Constrained Markov Decision Process)として定式化し、時間的に抽象的な意思決定を可能にする。
本稿では,2つのアクター・クオリティ・マルチエージェント・ポリシー最適化・ラグランジアン(DAC-MAPPO-Lagrangian)という新しいHDRLアルゴリズムを開発し,ラグランジアン緩和を2つのアクター・クオリティ(DAC)フレームワークに統合する。
高レベルでは、安全なチャージャー割り当てポリシーを学ぶために集中型PPO-ラグランジアンアルゴリズムを採用する。
低レベルにおいては、MAPPO-Lagrangianを取り入れて、CTDE(Centralized Training and Decentralized Execution)パラダイムの下で、分散型の充電パワー決定を学習する。
実世界のデータを用いた大規模な実験により、提案手法は、高速収束速度を維持しながら、コスト最小化と安全コンプライアンスの両方において既存のベースラインを上回っていることが示された。
関連論文リスト
- Cost Minimization for Space-Air-Ground Integrated Multi-Access Edge Computing Systems [60.586531406445744]
宇宙空間統合多高度エッジコンピューティング(SAGIN-MEC)は、急速に発展する低高度経済に有望なソリューションを提供する。
本稿では、ユーザデバイス(UD)、無人航空機(UAV)、衛星間の協調を可能にするSAGIN-MECアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-10-24T15:03:07Z) - Optimizing Electric Bus Charging Scheduling with Uncertainties Using Hierarchical Deep Reinforcement Learning [46.15490780173541]
電気バス(EB)は持続可能な開発に向けた重要な一歩である。
モノのインターネット(IoT)システムを利用することで、充電ステーションはリアルタイムデータに基づいて充電スケジュールを自律的に決定できる。
しかし、旅行時間の不確実性、エネルギー消費、電力価格の変動などにより、EB充電スケジュールの最適化は依然として重要な課題である。
論文 参考訳（メタデータ） (2025-05-15T13:44:27Z) - Electric Bus Charging Schedules Relying on Real Data-Driven Targets Based on Hierarchical Deep Reinforcement Learning [46.15490780173541]
深部強化学習(DRL)に基づく電気バス(EB)の充電スケジューリング問題の検討
高レベルエージェントは、充電期間毎に充電目標を規定する効果的なポリシーを学習し、低レベルエージェントは、1回の充電期間内に各ステップの充電パワーを設定するための最適なポリシーを学習する。
最適高レベル政策と最適低レベル政策を重畳して構築された平坦な政策が、元のMDPの最適政策と同様に機能することが証明された。
論文 参考訳（メタデータ） (2025-05-15T13:13:41Z) - Joint Resource Management for Energy-efficient UAV-assisted SWIPT-MEC: A Deep Reinforcement Learning Approach [50.52139512096988]
6G Internet of Things (IoT)ネットワークは、地上インフラストラクチャが利用できない遠隔地や災害シナリオにおいて、課題に直面している。
本稿では、指向性アンテナにより強化された新しい無人航空機(UAV)支援コンピューティングシステムを提案する。
論文 参考訳（メタデータ） (2025-05-06T06:46:19Z) - Reinforcement Learning-based Approach for Vehicle-to-Building Charging with Heterogeneous Agents and Long Term Rewards [3.867907469895697]
本稿では,行動マスキングとMILPによる効率的な政策ガイダンスを併用した新しいRLフレームワークを提案する。
当社のアプローチは、ユーザの充電要求を満たすために、継続的なアクションスペースの探索のバランスを取る。
提案手法は,V2Bエネルギー管理の課題を解決するための,最初のスケーラブルで汎用的なアプローチの1つである。
論文 参考訳（メタデータ） (2025-02-24T19:24:41Z) - Centralized vs. Decentralized Multi-Agent Reinforcement Learning for Enhanced Control of Electric Vehicle Charging Networks [1.9188272016043582]
本稿では,MARL(Multi-Agent Reinforcement Learning)フレームワークを用いた分散・協調型充電戦略の新たなアプローチを提案する。
本手法は, 住宅街におけるEV群を対象としたDDPGアルゴリズムに基づいて構築した。
以上の結果から, CTDE-DDPGフレームワークは, 政策のばらつきや訓練の複雑さが高いにもかかわらず, 総変動率を約36パーセント, 充電コストを平均9.1程度削減することにより, 充電効率を著しく向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-18T21:50:03Z) - A Deep Reinforcement Learning-Based Charging Scheduling Approach with
Augmented Lagrangian for Electric Vehicle [2.686271754751717]
本稿では,EV充電スケジューリング問題を制約付きマルコフ決定過程(CMDP)として定式化する。
本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。
実世界の電力価格を用いた総合的な数値実験により,提案アルゴリズムは高解最適性と制約コンプライアンスを実現することができることを示した。
論文 参考訳（メタデータ） (2022-09-20T14:56:51Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳（メタデータ） (2020-02-21T02:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。