論文の概要: Explainable Data-driven Deep Reinforcement Learning Methods for Optimal Energy Management in Buildings

• arxiv url: http://arxiv.org/abs/2606.02049v1
• Date: Mon, 01 Jun 2026 10:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.803446
• Title: Explainable Data-driven Deep Reinforcement Learning Methods for Optimal Energy Management in Buildings
• Title（参考訳）: ビルにおける最適エネルギー管理のための説明可能なデータ駆動型深層強化学習手法
• Authors: Hallah Shahid Butt, Qiong Huang, Gökhan Demirel, Kevin Förderer, Erfan Tajalli-Ardekani, Simnon Waczowicz, Luigi Spatafora, Veit Hagenmeyer, Benjamin Schäfer,
• Abstract要約: 本稿では,住宅のエネルギー管理に応用した説明可能な深層強化学習(XRL)の枠組みを提案する。 我々は、リアルタイム測定を組み込んだ拡張状態空間において、オンラインとオフポリティクスのDRLエージェントをトレーニングし、比較する。 以上の結果から,特にA2C(Advantage Actor Critic)とPPO(Proximal Policy Optimization)は,累積報酬や政策安定性の観点からも,非政治手法よりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 3.4756623477788593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing integration of renewable energy sources into power systems, particularly in buildings equipped with photovoltaic (PV) panels and energy storage systems, introduces significant complexity in energy systems. Volatile power generation, varying electricity tariffs, and increased entities, e.g., PV systems, and heat pumps, have increased the complexity and made the system harder to operate. This leads to the demand for additional control and optimization routes including data-based controls, such as reinforcement learning. While deep reinforcement learning (DRL) has emerged as a promising solution to optimize building operations in dynamic and ever more complex environments, its black-box nature impedes user trust and practical adoption. This paper presents a framework for explainable deep reinforcement learning (XRL) applied to energy management in residential buildings. We demonstrate its usage on both synthetic data but also on real-world data from the Living Lab Energy Campus (LLEC) at KIT. We train and compare both on-policy and off-policy DRL agents on an expanded state space that incorporates real-time measurements (demand, PV generation, battery power, state of charge), external signals (dynamic electricity price, local weather data), calendrical and holiday indicators, and forecasts for demand and price. Our experimental results indicate that on-policy algorithms, particularly Advantage Actor Critic (A2C) and Proximal Policy Optimization (PPO), outperform off-policy methods in terms of cumulative rewards and policy stability. To explain these models, we employ post-hoc interpretation techniques to elaborate the learned control policies. Our findings demonstrate that the XRL framework not only reduces electricity costs through optimal battery management, but also provides transparent, actionable insights into the agent's decision-making process.
• Abstract（参考訳）: 再生可能エネルギー源の電力システムへの統合が増加し、特に太陽光発電パネルとエネルギー貯蔵システムを備えた建物では、エネルギーシステムに大きな複雑さが生じる。 揮発性発電、様々な電気関税、例えばPVシステム、ヒートポンプなどの増資により、複雑さが増し、システムの運用が困難になった。 これにより、強化学習などのデータベースの制御を含む、さらなる制御と最適化のルートが要求される。 深層強化学習(DRL)は、動的でより複雑な環境での運用を最適化するための有望なソリューションとして登場したが、ブラックボックスの性質は、ユーザの信頼と実践的採用を妨げる。 本稿では,住宅のエネルギー管理に応用した説明可能な深層強化学習(XRL)の枠組みを提案する。 我々は,KITのリビング・ラボ・エナジー・キャンパス(LLEC)の合成データだけでなく,実世界のデータにもその使用例を示す。 我々は、リアルタイム計測(需要、PV生成、バッテリー電力、充電状態)、外部信号(静電気価格、局地気象データ)、カレンダーとホリデーインジケータ、需要と価格の予測を含む拡張状態空間において、オンラインおよびオフポリティクスのDRLエージェントをトレーニングし、比較する。 実験の結果,特にアドバンテージ・アクター・クリティカル (A2C) とPPO (Pximal Policy Optimization) は,累積報酬と政策安定性の観点から,非政治手法よりも優れていた。 これらのモデルを説明するために、我々は、学習した制御ポリシーを詳しく説明するために、ポストホックな解釈技法を用いる。 以上の結果から,XRLフレームワークは最適な電池管理を通じて電力コストを削減するだけでなく,エージェントの意思決定プロセスに対する透過的かつ実用的な洞察も提供することが示唆された。

関連論文リスト

• Shielded Controller Units for RL with Operational Constraints Applied to Remote Microgrids [50.64533198075622]
  強化学習(Reinforcement Learning, RL)は、不確実性の下で複雑なシステムにおける意思決定を最適化するための強力なフレームワークである。 本稿では,システムダイナミクスの事前知識を活用する体系的かつ解釈可能なアプローチであるシールド制御ユニット(SCU)を紹介する。 本研究では,厳密な運用要件を持つ遠隔マイクログリッド最適化タスクにおけるSCUの有効性を示す。
  論文  参考訳（メタデータ） (2025-11-30T19:28:34Z)
• Control of Renewable Energy Communities using AI and Real-World Data [0.0]
  本稿では,これらの複雑さを明示的に扱えるよう設計したフレームワークを導入し,シミュレーションと現実のギャップを埋める。 それは、MADDベースのマルチエージェント制御戦略であるEnergAIzeを取り入れ、現実世界のデータ収集、システム統合、ユーザー行動モデリングに関連する課題に特に対処する。
  論文  参考訳（メタデータ） (2025-05-22T22:20:09Z)
• Deep Reinforcement Learning for Community Battery Scheduling under Uncertainties of Load, PV Generation, and Energy Prices [5.694872363688119]
  本稿では,不確実性が存在する場合に,コミュニティバッテリーシステムのスケジューリングを行うための深層強化学習(RL)戦略を提案する。 コミュニティバッテリーは、ローカルPVエネルギーの統合、ピーク負荷の低減、および調停のためのエネルギー価格変動の活用において、多用途の役割を担っている。
  論文  参考訳（メタデータ） (2023-12-04T13:45:17Z)
• Multi-market Energy Optimization with Renewables via Reinforcement Learning [1.0878040851638]
  本稿では,再生可能エネルギーと貯蔵量を組み合わせた発電プラントの運転を最適化するための深層強化学習フレームワークを提案する。 このフレームワークは、ストレージデバイスによる時間結合、再生可能エネルギー生成の不確実性、エネルギー価格、非線形ストレージモデルなどの複雑さを扱う。 複雑なストレージモデルを統合するためにRLを使用し、凸と微分可能なコンポーネントモデルを必要とする最適化ベースのメソッドの制限を克服する。
  論文  参考訳（メタデータ） (2023-06-13T21:35:24Z)
• Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
  本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。 特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
  論文  参考訳（メタデータ） (2022-11-29T01:18:58Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)
• Data-driven battery operation for energy arbitrage using rainbow deep reinforcement learning [1.8175650854482457]
  モデルフリーの深部強化学習アルゴリズムであるRainbow Deep Q-Networksは、小さなマイクログリッドのバッテリーを制御するために使用される。 このグリッドは、キール大学で収集されたデータセットに基づいて、独自の需要と再生可能世代で運用されている。
  論文  参考訳（メタデータ） (2021-06-10T21:27:35Z)
• A Relearning Approach to Reinforcement Learning for Control of Smart Buildings [1.8799681615947088]
  本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。 我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
  論文  参考訳（メタデータ） (2020-08-04T23:31:05Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。