論文の概要: Decentralized Multi-agent Reinforcement Learning based State-of-Charge
Balancing Strategy for Distributed Energy Storage System
- arxiv url: http://arxiv.org/abs/2308.15394v1
- Date: Tue, 29 Aug 2023 15:48:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:22:10.861435
- Title: Decentralized Multi-agent Reinforcement Learning based State-of-Charge
Balancing Strategy for Distributed Energy Storage System
- Title（参考訳）: 分散エネルギー貯蔵システムのための分散マルチエージェント強化学習に基づく状態バランス戦略
- Authors: Zheng Xiong, Biao Luo, Bing-Chuan Wang, Xiaodong Xu, Xiaodong Liu, and
Tingwen Huang
- Abstract要約: 本稿では分散エネルギー貯蔵システム(DESS)におけるSoCバランス問題を解決するために分散マルチエージェント強化学習法(Dec-MARL)を提案する。
上記の手順により、Dec-MARLは、専門家の経験や複雑なモデルの構築なしに、完全に分散化されたシステムにおいて優れた性能を示す。
- 参考スコア（独自算出の注目度）: 30.137522138745986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a Decentralized Multi-Agent Reinforcement Learning
(Dec-MARL) method to solve the SoC balancing problem in the distributed energy
storage system (DESS). First, the SoC balancing problem is formulated into a
finite Markov decision process with action constraints derived from demand
balance, which can be solved by Dec-MARL. Specifically, the first-order average
consensus algorithm is utilized to expand the observations of the DESS state in
a fully-decentralized way, and the initial actions (i.e., output power) are
decided by the agents (i.e., energy storage units) according to these
observations. In order to get the final actions in the allowable range, a
counterfactual demand balance algorithm is proposed to balance the total demand
and the initial actions. Next, the agents execute the final actions and get
local rewards from the environment, and the DESS steps into the next state.
Finally, through the first-order average consensus algorithm, the agents get
the average reward and the expended observation of the next state for later
training. By the above procedure, Dec-MARL reveals outstanding performance in a
fully-decentralized system without any expert experience or constructing any
complicated model. Besides, it is flexible and can be extended to other
decentralized multi-agent systems straightforwardly. Extensive simulations have
validated the effectiveness and efficiency of Dec-MARL.
- Abstract（参考訳）: 本稿では分散エネルギー貯蔵システム(DESS)におけるSoCバランス問題を解決するために分散マルチエージェント強化学習法(Dec-MARL)を提案する。
第一に、SoCバランス問題は需要バランスから導かれる行動制約を持つ有限マルコフ決定プロセスに定式化され、Dec-MARLにより解ける。
具体的には、第1次平均コンセンサスアルゴリズムを用いてdess状態の観測を完全分散的に拡張し、これらの観測に基づいてエージェント(すなわちエネルギー貯蔵ユニット)によって初期動作(すなわち出力電力)を決定する。
許容範囲における最終動作を得るために, 総需要と初期動作のバランスをとるために, 逆要求バランスアルゴリズムが提案されている。
次に、エージェントは最終的なアクションを実行し、環境からローカルな報酬を受け取り、DESSは次の状態に進む。
最後に、一階平均コンセンサスアルゴリズムを通じて、エージェントは、後続のトレーニングのために、平均報酬と次の状態の経過観察を受ける。
上記の手順により、Dec-MARLは専門家の経験や複雑なモデルの構築なしに、完全に分散化されたシステムにおいて優れた性能を示す。
さらに、柔軟性があり、他の分散マルチエージェントシステムに簡単に拡張できる。
広範囲なシミュレーションによりdec-marlの有効性と効率が検証された。
関連論文リスト
- NodeOP: Optimizing Node Management for Decentralized Networks [8.225105658045843]
分散ネットワークにおけるGeneral Node Operatorの管理を最適化するために設計された新しいフレームワークであるNodeOPを紹介します。
Agent-Based Modeling(ABM)とTendermint Byzantine Fault Tolerance(BFT)ベースのコンセンサスメカニズムを統合することで、NodeOPはタスク割り当て、コンセンサス生成、システムの安定性において重要な課題に対処する。
論文 参考訳（メタデータ） (2024-10-22T06:00:04Z) - Learning Decentralized Partially Observable Mean Field Control for
Artificial Collective Behavior [28.313779052437134]
分散部分観測可能なMFC(Dec-POMFC)の新しいモデルを提案する。
動的プログラミング原理を含む厳密な理論結果を提供する。
全体として、我々のフレームワークは、MFCによる人工集合行動のRLに基づく工学への一歩を踏み出した。
論文 参考訳（メタデータ） (2023-07-12T14:02:03Z) - Monte-Carlo Search for an Equilibrium in Dec-POMDPs [11.726372393432195]
分散化された部分的に観測可能なマルコフ決定プロセス(Dec-POMDP)は、協調エージェントのグループに対する個々のコントローラの問題を形式化する。
ナッシュ均衡(各エージェント政策が、他のエージェントにとって最良の反応)を求めることは、よりアクセスしやすくなっている。
提案手法は,Dec-POMDPの生成モデル(シミュレータ)のみが利用可能である場合に適応可能であることを示す。
論文 参考訳（メタデータ） (2023-05-19T16:47:46Z) - Learning Distributed and Fair Policies for Network Load Balancing as
Markov Potentia Game [4.892398873024191]
本稿では、複数のロードバランサ(LB)を配置するデータセンター(DC)におけるネットワーク負荷分散問題について検討する。
この問題の課題は、異種処理アーキテクチャと動的環境から成り立っている。
マルチエージェント負荷分散問題をマルコフポテンシャルゲームとして定式化し、そのポテンシャル関数としてのワークロード分布の公平さを慎重に適切に設計する。
ゲームのナッシュ平衡を近似するために,完全分散MARLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-03T08:29:02Z) - Emergence of Theory of Mind Collaboration in Multiagent Systems [65.97255691640561]
ToMとエージェント間の効果的な協調を開発するための適応的学習アルゴリズムを提案する。
アルゴリズムはToMをモデル化せずに従来の分散実行アルゴリズムを全て上回る2つのゲームで評価する。
論文 参考訳（メタデータ） (2021-09-30T23:28:00Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。