論文の概要: Optimizing Electric Bus Charging Scheduling with Uncertainties Using Hierarchical Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.10296v1
• Date: Thu, 15 May 2025 13:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.337574
• Title: Optimizing Electric Bus Charging Scheduling with Uncertainties Using Hierarchical Deep Reinforcement Learning
• Title（参考訳）: 階層的深層強化学習を用いた不確実性を考慮した電気バス充電スケジューリングの最適化
• Authors: Jiaju Qi, Lei Lei, Thorsteinn Jonsson, Dusit Niyato,
• Abstract要約: 電気バス(EB)は持続可能な開発に向けた重要な一歩である。 モノのインターネット(IoT)システムを利用することで、充電ステーションはリアルタイムデータに基づいて充電スケジュールを自律的に決定できる。 しかし、旅行時間の不確実性、エネルギー消費、電力価格の変動などにより、EB充電スケジュールの最適化は依然として重要な課題である。
• 参考スコア（独自算出の注目度）: 46.15490780173541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing adoption of Electric Buses (EBs) represents a significant step toward sustainable development. By utilizing Internet of Things (IoT) systems, charging stations can autonomously determine charging schedules based on real-time data. However, optimizing EB charging schedules remains a critical challenge due to uncertainties in travel time, energy consumption, and fluctuating electricity prices. Moreover, to address real-world complexities, charging policies must make decisions efficiently across multiple time scales and remain scalable for large EB fleets. In this paper, we propose a Hierarchical Deep Reinforcement Learning (HDRL) approach that reformulates the original Markov Decision Process (MDP) into two augmented MDPs. To solve these MDPs and enable multi-timescale decision-making, we introduce a novel HDRL algorithm, namely Double Actor-Critic Multi-Agent Proximal Policy Optimization Enhancement (DAC-MAPPO-E). Scalability challenges of the Double Actor-Critic (DAC) algorithm for large-scale EB fleets are addressed through enhancements at both decision levels. At the high level, we redesign the decentralized actor network and integrate an attention mechanism to extract relevant global state information for each EB, decreasing the size of neural networks. At the low level, the Multi-Agent Proximal Policy Optimization (MAPPO) algorithm is incorporated into the DAC framework, enabling decentralized and coordinated charging power decisions, reducing computational complexity and enhancing convergence speed. Extensive experiments with real-world data demonstrate the superior performance and scalability of DAC-MAPPO-E in optimizing EB fleet charging schedules.
• Abstract（参考訳）: 電気バス(EB)の普及は、持続可能な開発に向けた大きな一歩である。 モノのインターネット(IoT)システムを利用することで、充電ステーションはリアルタイムデータに基づいて充電スケジュールを自律的に決定できる。 しかし、旅行時間の不確実性、エネルギー消費、電力価格の変動などにより、EB充電スケジュールの最適化は依然として重要な課題である。 さらに、現実の複雑さに対処するためには、充電ポリシーは複数の時間スケールで効率的に決定し、大規模なEBフリートに対してスケーラブルでなければならない。 本稿では,元のマルコフ決定プロセス(MDP)を2つの拡張MDPに再構成する階層型深層強化学習(HDRL)手法を提案する。 これらのMDPを解消し、マルチタイムな意思決定を可能にするため、Double Actor-Critic Multi-Agent Proximal Policy Optimization Optimization (DAC-MAPPO-E)と呼ばれる新しいHDRLアルゴリズムを導入する。 大規模EBフリートに対するDouble Actor-Critic(DAC)アルゴリズムのスケーラビリティ上の課題は、両決定レベルでの強化を通じて解決される。 高いレベルでは、分散化されたアクターネットワークを再設計し、各EBについて関連するグローバルステート情報を抽出するアテンションメカニズムを統合し、ニューラルネットワークのサイズを小さくする。 低レベルにおいては、マルチエージェントプロキシポリシー最適化(MAPPO)アルゴリズムがDACフレームワークに組み込まれ、分散化および調整された充電電力決定を可能にし、計算複雑性を低減し、収束速度を向上する。 実世界のデータを用いた大規模な実験は、EBフリート充電スケジュールの最適化において、DAC-MAPPO-Eの優れた性能とスケーラビリティを示す。

関連論文リスト

• Electric Bus Charging Schedules Relying on Real Data-Driven Targets Based on Hierarchical Deep Reinforcement Learning [46.15490780173541]
  深部強化学習(DRL)に基づく電気バス(EB)の充電スケジューリング問題の検討 高レベルエージェントは、充電期間毎に充電目標を規定する効果的なポリシーを学習し、低レベルエージェントは、1回の充電期間内に各ステップの充電パワーを設定するための最適なポリシーを学習する。 最適高レベル政策と最適低レベル政策を重畳して構築された平坦な政策が、元のMDPの最適政策と同様に機能することが証明された。
  論文  参考訳（メタデータ） (2025-05-15T13:13:41Z)
• Joint Resource Management for Energy-efficient UAV-assisted SWIPT-MEC: A Deep Reinforcement Learning Approach [49.75068823009836]
  6G Internet of Things (IoT)ネットワークは、地上インフラストラクチャが利用できない遠隔地や災害シナリオにおいて、課題に直面している。 本稿では、指向性アンテナにより強化された新しい無人航空機(UAV)支援コンピューティングシステムを提案する。
  論文  参考訳（メタデータ） (2025-05-06T06:46:19Z)
• Multi-agent reinforcement learning strategy to maximize the lifetime of Wireless Rechargeable [0.32634122554913997]
  本論文では,ネットワーク寿命を最大化するために,複数の移動体充電器の汎用充電フレームワークを提案する。 マルチポイント充電モデルは充電効率を高めるために利用され、MCは充電位置ごとに複数のセンサーを同時に充電することができる。 この提案では、大規模な再トレーニングを必要とせずに、強化アルゴリズムを異なるネットワークに適用できる。
  論文  参考訳（メタデータ） (2024-11-21T02:18:34Z)
• DClEVerNet: Deep Combinatorial Learning for Efficient EV Charging Scheduling in Large-scale Networked Facilities [5.78463306498655]
  電気自動車(EV)は配電ネットワークを著しくストレスし、性能を劣化させ、安定性を損なう可能性がある。 現代の電力網は、EV充電スケジューリングをスケーラブルで効率的な方法で最適化できる、コーディネートまたはスマートな充電戦略を必要とする。 ネットワークの利用可能な電力容量とステーションの占有限度を考慮しつつ、EV利用者の総福祉利益を最大化する時間結合二元最適化問題を定式化する。
  論文  参考訳（メタデータ） (2023-05-18T14:03:47Z)
• Optimal Scheduling in IoT-Driven Smart Isolated Microgrids Based on Deep Reinforcement Learning [10.924928763380624]
  深部強化学習(DRL)によるモノ駆動マイクログリッド(MG)におけるディーゼル発電機(DG)のスケジューリング問題について検討する。 DRLエージェントは、過去の履歴再生およびロードデータから最適なポリシーを学習する。 目標は、需給バランスを確保するという前提で運用コストを削減することである。
  論文  参考訳（メタデータ） (2023-04-28T23:52:50Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
  エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。 本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
  論文  参考訳（メタデータ） (2021-09-17T08:55:48Z)
• Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
  分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。 本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。 実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-07-21T07:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。