論文の概要: Multi-agent Bayesian Deep Reinforcement Learning for Microgrid Energy
Management under Communication Failures
- arxiv url: http://arxiv.org/abs/2111.11868v1
- Date: Mon, 22 Nov 2021 03:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 17:18:49.787563
- Title: Multi-agent Bayesian Deep Reinforcement Learning for Microgrid Energy
Management under Communication Failures
- Title（参考訳）: 通信障害時のマイクログリッドエネルギー管理のためのマルチエージェントベイズディープ強化学習
- Authors: Hao Zhou, Atakan Aral, Ivona Brandic, Melike Erol-Kantarci
- Abstract要約: 通信障害時のMGエネルギー管理のためのマルチエージェントベイズ深部強化学習法(BA-DRL)を提案する。
BA-DRL は Nash Deep Q-learning (Nash-DQN) よりも 4.1% と 10.3% 高い報酬率を持つ。
- 参考スコア（独自算出の注目度）: 10.099371194251052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Microgrids (MGs) are important players for the future transactive energy
systems where a number of intelligent Internet of Things (IoT) devices interact
for energy management in the smart grid. Although there have been many works on
MG energy management, most studies assume a perfect communication environment,
where communication failures are not considered. In this paper, we consider the
MG as a multi-agent environment with IoT devices in which AI agents exchange
information with their peers for collaboration. However, the collaboration
information may be lost due to communication failures or packet loss. Such
events may affect the operation of the whole MG. To this end, we propose a
multi-agent Bayesian deep reinforcement learning (BA-DRL) method for MG energy
management under communication failures. We first define a multi-agent
partially observable Markov decision process (MA-POMDP) to describe agents
under communication failures, in which each agent can update its beliefs on the
actions of its peers. Then, we apply a double deep Q-learning (DDQN)
architecture for Q-value estimation in BA-DRL, and propose a belief-based
correlated equilibrium for the joint-action selection of multi-agent BA-DRL.
Finally, the simulation results show that BA-DRL is robust to both power supply
uncertainty and communication failure uncertainty. BA-DRL has 4.1% and 10.3%
higher reward than Nash Deep Q-learning (Nash-DQN) and alternating direction
method of multipliers (ADMM) respectively under 1% communication failure
probability.
- Abstract（参考訳）: マイクログリッド(MG)は、多くのインテリジェントなモノのインターネット(IoT)デバイスがスマートグリッド内のエネルギー管理と相互作用する未来のトランスアクティブエネルギーシステムにとって重要なプレーヤーである。
MGエネルギー管理に関する研究は数多く行われているが、ほとんどの研究はコミュニケーション障害が考慮されていない完璧な通信環境を前提としている。
本稿では、MGをIoTデバイスを用いたマルチエージェント環境とみなし、AIエージェントが同僚と情報を交換してコラボレーションを行う。
しかし、協調情報は通信障害やパケットロスによって失われることがある。
このような事象はMG全体の操作に影響を及ぼす可能性がある。
この目的のために,通信障害時のMGエネルギー管理のためのマルチエージェントベイズ深部強化学習法(BA-DRL)を提案する。
まず,マルチエージェント部分観測可能なマルコフ決定プロセス (MA-POMDP) を定義し,通信障害時のエージェントを記述し,各エージェントが仲間の行動に対する信念を更新できるようにする。
次に、BA-DRLにおけるQ値推定にDouble Deep Q-learning (DDQN)アーキテクチャを適用し、マルチエージェントBA-DRLの協調動作選択のための信念に基づく相関平衡を提案する。
最後に,BA-DRLは電源の不確実性と通信障害の不確実性の両方に対して堅牢であることを示す。
BA-DRL は Nash Deep Q-learning (Nash-DQN) よりも 4.1% と 10.3% 高い報酬率を持つ。
関連論文リスト
- Large Language Model Enhanced Multi-Agent Systems for 6G Communications [94.45712802626794]
本稿では,自然言語を用いたコミュニケーション関連タスクを解くための,カスタマイズされたコミュニケーション知識とツールを備えたマルチエージェントシステムを提案する。
セマンティック通信システムの設計により,提案方式の有効性を検証した。
論文 参考訳（メタデータ） (2023-12-13T02:35:57Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳（メタデータ） (2023-07-05T17:59:27Z) - Federated Multi-Agent Deep Reinforcement Learning Approach via
Physics-Informed Reward for Multi-Microgrid Energy Management [34.18923657108073]
本稿では,物理インフォームド報酬を用いたF-MADRLアルゴリズムを提案する。
このアルゴリズムでは、F-MADRLアルゴリズムをトレーニングするためにフェデレート学習機構を導入し、データのプライバシとセキュリティを確保する。
オークリッジ国立研究所の分散エネルギー制御通信実験室(ORNL-MG)で実験を行った。
論文 参考訳（メタデータ） (2022-12-29T08:35:11Z) - Provably Efficient Multi-Agent Reinforcement Learning with Fully
Decentralized Communication [3.5450828190071655]
分散探索は強化学習におけるサンプリングの複雑さを低減する。
各エージェントが分散メッセージパスプロトコルを使用すると,グループ性能が大幅に向上することを示す。
グループ学習手法により多くのエージェントと情報共有を組み込むことで、最適ポリシーへの収束が加速することを示す。
論文 参考訳（メタデータ） (2021-10-14T14:27:27Z) - Correlated Deep Q-learning based Microgrid Energy Management [12.013067383415747]
本稿ではMGエネルギー管理のための相関型深層Q-learning(CDQN)手法を提案する。
それぞれの電気実体は、ニューラルネットワークを持ち、自身のQ値を予測するエージェントとしてモデル化され、その後、相関したQ平衡を用いてエージェントを協調する。
シミュレーションの結果、ESSエージェントと太陽光発電(PV)エージェントの利益は、それぞれ40.9%と9.62%である。
論文 参考訳（メタデータ） (2021-03-06T16:43:18Z) - Information Freshness-Aware Task Offloading in Air-Ground Integrated
Edge Computing Systems [49.80033982995667]
本稿では,空域統合マルチアクセスエッジコンピューティングシステムにおける情報更新性を考慮したタスクオフロードの問題について検討する。
サードパーティのリアルタイムアプリケーションサービスプロバイダは、InPからの限られた通信と計算リソースで、加入したモバイルユーザ(MU)にコンピューティングサービスを提供する。
本稿では,各MUに2つの個別の深度Q-networksを適用し,Q-factorと後Q-factorを近似する新しい深度強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-07-15T21:32:43Z) - Learning Individually Inferred Communication for Multi-Agent Cooperation [37.56115000150748]
我々はエージェントエージェントがエージェントエージェントコミュニケーションの事前学習を可能にするために、個別推論通信(I2C)を提案する。
先行知識は因果推論によって学習され、フィードフォワードニューラルネットワークによって実現される。
I2Cは通信オーバーヘッドを減らすだけでなく、様々なマルチエージェント協調シナリオのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2020-06-11T14:07:57Z) - Distributed Reinforcement Learning for Cooperative Multi-Robot Object
Manipulation [53.262360083572005]
強化学習(RL)を用いた協調型マルチロボットオブジェクト操作タスクの検討
分散近似RL(DA-RL)とゲーム理論RL(GT-RL)の2つの分散マルチエージェントRLアプローチを提案する。
本稿では, DA-RL と GT-RL を多エージェントシステムに適用し, 大規模システムへの拡張が期待される。
論文 参考訳（メタデータ） (2020-03-21T00:43:54Z) - Monotonic Value Function Factorisation for Deep Multi-Agent
Reinforcement Learning [55.20040781688844]
QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。
深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
論文 参考訳（メタデータ） (2020-03-19T16:51:51Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。