論文の概要: Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building

• arxiv url: http://arxiv.org/abs/2104.12125v1
• Date: Sun, 25 Apr 2021 10:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 09:20:10.241600
• Title: Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building
• Title（参考訳）: オフィスビルにおけるエネルギー柔軟性を活用したソフトアクタ批判者深層強化学習手法の開発
• Authors: Anjukan Kathirgamanathan, Eleni Mangina, Donal P. Finn
• Abstract要約: 本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。 SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research is concerned with the novel application and investigation of `Soft Actor Critic' (SAC) based Deep Reinforcement Learning (DRL) to control the cooling setpoint (and hence cooling loads) of a large commercial building to harness energy flexibility. The research is motivated by the challenge associated with the development and application of conventional model-based control approaches at scale to the wider building stock. SAC is a model-free DRL technique that is able to handle continuous action spaces and which has seen limited application to real-life or high-fidelity simulation implementations in the context of automated and intelligent control of building energy systems. Such control techniques are seen as one possible solution to supporting the operation of a smart, sustainable and future electrical grid. This research tests the suitability of the SAC DRL technique through training and deployment of the agent on an EnergyPlus based environment of the office building. The SAC DRL was found to learn an optimal control policy that was able to minimise energy costs by 9.7% compared to the default rule-based control (RBC) scheme and was able to improve or maintain thermal comfort limits over a test period of one week. The algorithm was shown to be robust to the different hyperparameters and this optimal control policy was learnt through the use of a minimal state space consisting of readily available variables. The robustness of the algorithm was tested through investigation of the speed of learning and ability to deploy to different seasons and climates. It was found that the SAC DRL requires minimal training sample points and outperforms the RBC after three months of operation and also without disruption to thermal comfort during this period. The agent is transferable to other climates and seasons although further retraining or hyperparameter tuning is recommended.
• Abstract（参考訳）: 本研究は, 大規模商業ビルの冷却設定点(冷却負荷)を制御し, エネルギーの柔軟性を高めるため, 「ソフトアクター批判」に基づく深部強化学習(DRL)の新規適用と研究に関するものである。 この研究は、従来型のモデルベース制御手法の開発と適用に関する課題を、より広いビルの在庫に展開することによるものである。 SACは、連続的な行動空間を扱えるモデルフリーDRL技術であり、建築エネルギーシステムの自動化とインテリジェント制御の文脈において、実生活や高忠実性シミュレーションの実装に限定的な応用が見られた。 このような制御技術は、スマートで持続可能で将来の電力網の運用を支援するための1つの解決策と見なされている。 本研究は,オフィスビルのEnergyPlus環境におけるエージェントの訓練と展開を通じて,SAC DRL技術の適合性を検証した。 sac drlは、デフォルトのルールベース制御(rbc)方式と比較してエネルギーコストを9.7%削減できる最適な制御方針を学習し、1週間の試験期間で保温限界を改善または維持することができた。 アルゴリズムは異なるハイパーパラメータに対して堅牢であることが示され、この最適制御ポリシーは、容易に利用可能な変数からなる最小状態空間を使用することで学習された。 アルゴリズムの堅牢性は、学習の速度と異なる季節や気候に展開する能力の調査を通じて検証された。 SAC DRLは,3ヶ月の手術後にRBCを上回り,この期間の熱的快適さを損なうことなく,最小限のトレーニングサンプルポイントを必要とすることがわかった。 他の気候や季節に移行できるが、さらなる再訓練やハイパーパラメータチューニングが推奨される。

関連論文リスト

• Constrained Reinforcement Learning for Safe Heat Pump Control [24.6591923448048]
  異なる用途のインタフェースを提供する新しいビルディングシミュレータI4Bを提案する。 本研究では,線形平滑ログバリア関数 (CSAC-LB) を用いた制約付きソフトアクタ・クリティカルというモデルレス制約付きRLアルゴリズムを加熱最適化問題に適用する。 ベースラインアルゴリズムに対するベンチマークは、CSAC-LBのデータ探索、制約満足度、性能における効率を示す。
  論文  参考訳（メタデータ） (2024-09-29T14:15:13Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• An experimental evaluation of Deep Reinforcement Learning algorithms for HVAC control [40.71019623757305]
  近年の研究では、Deep Reinforcement Learning (DRL)アルゴリズムが従来のリアクティブコントローラより優れていることが示されている。 本稿では,HVAC制御のためのいくつかの最先端DRLアルゴリズムについて,批判的かつ再現可能な評価を行う。
  論文  参考訳（メタデータ） (2024-01-11T08:40:26Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)
• One for Many: Transfer Learning for Building HVAC Control [24.78264822089494]
  本稿では,この課題を克服するために,トランスファーラーニングに基づく新しいアプローチを提案する。 本手法は,ソースビルディング用に訓練されたDRLベースのHVACコントローラを,最小限の労力で目標ビルディング用のコントローラに効果的に転送し,性能を向上する。
  論文  参考訳（メタデータ） (2020-08-09T01:32:37Z)
• A Relearning Approach to Reinforcement Learning for Control of Smart Buildings [1.8799681615947088]
  本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。 我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
  論文  参考訳（メタデータ） (2020-08-04T23:31:05Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Data-driven control of micro-climate in buildings: an event-triggered reinforcement learning approach [56.22460188003505]
  半マルコフ決定過程に基づく微小気候制御問題を定式化する。 建物内の微小気候のイベントトリガー制御のための2つの学習アルゴリズムを提案する。 スマートなサーモスタットを設計することで,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-01-28T18:20:43Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。