論文の概要: Energy Management of Multi-mode Plug-in Hybrid Electric Vehicle using
Multi-agent Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.09658v2
- Date: Mon, 28 Aug 2023 00:36:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 00:37:06.103441
- Title: Energy Management of Multi-mode Plug-in Hybrid Electric Vehicle using
Multi-agent Deep Reinforcement Learning
- Title（参考訳）: マルチエージェント深部強化学習を用いた多モードプラグインハイブリッド電気自動車のエネルギー管理
- Authors: Min Hua, Cetengfei Zhang, Fanggang Zhang, Zhi Li, Xiaoli Yu, Hongming
Xu, Quan Zhou
- Abstract要約: 多モードプラグインハイブリッド電気自動車(PHEV)技術は、脱炭に寄与する経路の1つである。
本稿では,多モードPHEVのエネルギー管理のためのマルチエージェント深部強化学習(MADRL)制御法について検討する。
統合DDPG設定と0.2の関連性比を用いて、MADRLシステムはシングルエージェント学習システムと比較して最大4%のエネルギーを節約でき、従来のルールベースシステムに比べて最大23.54%のエネルギーを節約できる。
- 参考スコア（独自算出の注目度）: 6.519522573636577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recently emerging multi-mode plug-in hybrid electric vehicle (PHEV)
technology is one of the pathways making contributions to decarbonization, and
its energy management requires multiple-input and multipleoutput (MIMO)
control. At the present, the existing methods usually decouple the MIMO control
into singleoutput (MISO) control and can only achieve its local optimal
performance. To optimize the multi-mode vehicle globally, this paper studies a
MIMO control method for energy management of the multi-mode PHEV based on
multi-agent deep reinforcement learning (MADRL). By introducing a relevance
ratio, a hand-shaking strategy is proposed to enable two learning agents to
work collaboratively under the MADRL framework using the deep deterministic
policy gradient (DDPG) algorithm. Unified settings for the DDPG agents are
obtained through a sensitivity analysis of the influencing factors to the
learning performance. The optimal working mode for the hand-shaking strategy is
attained through a parametric study on the relevance ratio. The advantage of
the proposed energy management method is demonstrated on a software-in-the-loop
testing platform. The result of the study indicates that the learning rate of
the DDPG agents is the greatest influencing factor for learning performance.
Using the unified DDPG settings and a relevance ratio of 0.2, the proposed
MADRL system can save up to 4% energy compared to the single-agent learning
system and up to 23.54% energy compared to the conventional rule-based system.
- Abstract（参考訳）: 最近の多モードプラグインハイブリッド電気自動車(PHEV)技術は、脱炭に寄与する経路の一つであり、エネルギー管理にはマルチインプットとマルチアウトプット(MIMO)制御が必要である。
現在、既存の手法はMIMO制御を単一出力(MISO)制御に分離しており、その局所的な最適性能しか達成できない。
マルチモード車両をグローバルに最適化するために,マルチエージェント深部強化学習(MADRL)に基づく多モードPHEVのエネルギー管理のためのMIMO制御手法を提案する。
相関比を導入することで,2つの学習エージェントが,ddpg(deep deterministic policy gradient)アルゴリズムを用いてmadrlフレームワークの下で協調的に作業できる手振り戦略が提案されている。
DDPGエージェントの統一設定は、学習性能に影響を及ぼす要因の感度分析によって得られる。
ハンドシェイキング戦略の最適作業モードは、関連性比のパラメトリックスタディにより達成される。
提案手法の利点は, ソフトウェア・イン・ザ・ループテストプラットフォームで実証された。
その結果,ddpgエージェントの学習速度は,学習性能に最も影響を及ぼす要因であることが示唆された。
統一ddpg設定と相関比0.2を用いて,提案方式は,単一エージェント学習システムに比べて最大4%,従来のルールベースシステムと比較して最大23.54%のエネルギー節約を実現する。
関連論文リスト
- Data-driven modeling and supervisory control system optimization for plug-in hybrid electric vehicles [16.348774515562678]
プラグインハイブリッド電気自動車(PHEV)のための学習型インテリジェントエネルギー管理システムは,効率的なエネルギー利用の実現に不可欠である。
彼らのアプリケーションは現実世界でシステム信頼性の課題に直面しており、元の機器メーカー(OEM)が広く受け入れられることを防ぐ。
本稿では,水平延長型強化学習(RL)に基づくエネルギー管理と等価消費最小化戦略(ECMS)を組み合わせた実車用アプリケーション指向制御フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-13T13:04:42Z) - Multi-agent Reinforcement Learning for Energy Saving in Multi-Cell
Massive MIMO Systems [6.614630708703594]
マルチセルネットワークにおける基地局 (BS) の総エネルギー消費を最小化するマルチエージェント強化学習 (MARL) アルゴリズムを開発した。
トレーニングされたMAPPOエージェントは,基本方針よりも優れた性能を示すことを示す。
具体的には、オートスリープモード1のアルゴリズムと比較して、MAPPO隣のポリシーは低交通時間帯では消費電力を約8.7%削減し、高交通時間帯ではエネルギー効率を約19%向上させる。
論文 参考訳（メタデータ） (2024-02-05T17:15:00Z) - Multi-agent Deep Reinforcement Learning for Charge-sustaining Control of
Multi-mode Hybrid Vehicles [9.416703139663705]
電気化は車両の電気部品の増加を必要とする。
本稿では,マルチモードハイブリッド電気自動車におけるエネルギー管理戦略のオンライン最適化に焦点をあてる。
マルチエージェントを用いた新しいサイバー物理学習法が提案されている。
論文 参考訳（メタデータ） (2022-09-06T16:40:55Z) - Unified Automatic Control of Vehicular Systems with Reinforcement
Learning [64.63619662693068]
本稿では,車載マイクロシミュレーションの合理化手法について述べる。
最小限の手動設計で高性能な制御戦略を発見する。
この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
論文 参考訳（メタデータ） (2022-07-30T16:23:45Z) - Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT
Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement
Learning Approach [56.84948632954274]
本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。
本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。
提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
論文 参考訳（メタデータ） (2021-12-20T15:45:28Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - Imitation Learning from MPC for Quadrupedal Multi-Gait Control [63.617157490920505]
本稿では,歩行ロボットの複数の歩行を模倣する単一ポリシーを学習する学習アルゴリズムを提案する。
モデル予測制御によって導かれる模擬学習のアプローチであるMPC-Netを使用し、拡張します。
ハードウェアに対する我々のアプローチを検証し、学習したポリシーが教師に取って代わって複数の歩留まりを制御できることを示します。
論文 参考訳（メタデータ） (2021-03-26T08:48:53Z) - Transfer Deep Reinforcement Learning-enabled Energy Management Strategy
for Hybrid Tracked Vehicle [8.327437591702163]
本稿では、深部強化学習(DRL)と伝達学習(TL)を組み合わせたハイブリッド電気自動車の適応エネルギー管理戦略を提案する。
退屈なトレーニング時間でDRLの欠陥に対処することを目的としている。
DRLおよびTL対応制御ポリシは、エネルギー効率を向上し、システム性能を向上させることができる。
論文 参考訳（メタデータ） (2020-07-16T23:39:34Z) - Human-like Energy Management Based on Deep Reinforcement Learning and
Historical Driving Experiences [5.625230013691758]
ハイブリッド電気自動車の開発は、高度かつ効率的なエネルギー管理戦略(EMS)に依存している
本稿では, 深部強化学習法と過去の運転データに基づいて, ハイブリッド電気自動車の人為的なエネルギー管理の枠組みについて述べる。
燃料経済と収束率の改善は、構築された制御構造の有効性を示している。
論文 参考訳（メタデータ） (2020-07-16T14:15:35Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z) - Pontryagin Differentiable Programming: An End-to-End Learning and
Control Framework [108.4560749465701]
ポントリャーギン微分プログラミングの方法論は、幅広い種類の学習と制御タスクを解決するための統一されたフレームワークを確立する。
本研究では, PDP の逆強化学習, システム識別, 制御・計画の3つの学習モードについて検討する。
マルチリンクロボットアーム,6-DoFオペレーティングクオーロレータ,6-DoFロケット搭載着陸など,多次元システムにおける学習モード毎のPDPの能力を示す。
論文 参考訳（メタデータ） (2019-12-30T15:35:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。