論文の概要: Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

• arxiv url: http://arxiv.org/abs/2510.01475v1
• Date: Wed, 01 Oct 2025 21:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.882898
• Title: Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC
• Title（参考訳）: 住宅用HVACにおける強化学習とモデル予測制御の比較フィールド展開
• Authors: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés,
• Abstract要約: 強化学習(Reinforcement Learning)は、自動化と適応性の向上を約束するが、現実の住宅環境における実践的応用は、ほとんど実証されていない。 実験の結果,RLは工学的オーバーヘッドを低減させるが,モデル精度と運用上の堅牢性において,実用的なトレードオフをもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 6.84547325352035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advanced control strategies like Model Predictive Control (MPC) offer significant energy savings for HVAC systems but often require substantial engineering effort, limiting scalability. Reinforcement Learning (RL) promises greater automation and adaptability, yet its practical application in real-world residential settings remains largely undemonstrated, facing challenges related to safety, interpretability, and sample efficiency. To investigate these practical issues, we performed a direct comparison of an MPC and a model-based RL controller, with each controller deployed for a one-month period in an occupied house with a heat pump system in West Lafayette, Indiana. This investigation aimed to explore scalability of the chosen RL and MPC implementations while ensuring safety and comparability. The advanced controllers were evaluated against each other and against the existing controller. RL achieved substantial energy savings (22\% relative to the existing controller), slightly exceeding MPC's savings (20\%), albeit with modestly higher occupant discomfort. However, when energy savings were normalized for the level of comfort provided, MPC demonstrated superior performance. This study's empirical results show that while RL reduces engineering overhead, it introduces practical trade-offs in model accuracy and operational robustness. The key lessons learned concern the difficulties of safe controller initialization, navigating the mismatch between control actions and their practical implementation, and maintaining the integrity of online learning in a live environment. These insights pinpoint the essential research directions needed to advance RL from a promising concept to a truly scalable HVAC control solution.
• Abstract（参考訳）: モデル予測制御(MPC)のような高度な制御戦略は、HVACシステムに多大な省エネを提供するが、スケーラビリティを制限し、工学的な労力を必要とすることが多い。 強化学習(Reinforcement Learning, RL)は、自動化と適応性の向上を約束するが、実際の住宅環境における実践的応用は、安全性、解釈可能性、サンプル効率に関する課題に直面して、ほとんど実証されていない。 これらの実態を明らかにするため, インディアナ州ウェストラファイエットにヒートポンプシステムを備えた住宅において, MPC とモデルベース RL コントローラを直接比較した。 本研究の目的は、安全と互換性を確保しつつ、選択したRLおよびMPC実装のスケーラビリティを検討することである。 先進的なコントローラは互いに、既存のコントローラに対して評価された。 RL は MPC の省エネをわずかに上回り (20 %) 、占める不快感はわずかに高いものの、かなりの省エネ (22 %) を達成した。 しかし, 快適度で省エネが正常化されると, MPCは優れた性能を示した。 実験の結果,RLは工学的オーバーヘッドを低減させるが,モデル精度と運用上の堅牢性において,実用的なトレードオフをもたらすことがわかった。 得られた重要な教訓は、安全なコントローラの初期化の難しさ、コントロールアクションと実践的実装のミスマッチのナビゲート、およびライブ環境でのオンライン学習の完全性を維持することに関するものである。 これらの知見は、RLを有望な概念から真にスケーラブルなHVAC制御ソリューションへと前進させるために必要な研究の方向性を明らかにしている。

関連論文リスト

• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• An experimental evaluation of Deep Reinforcement Learning algorithms for HVAC control [40.71019623757305]
  近年の研究では、Deep Reinforcement Learning (DRL)アルゴリズムが従来のリアクティブコントローラより優れていることが示されている。 本稿では,HVAC制御のためのいくつかの最先端DRLアルゴリズムについて,批判的かつ再現可能な評価を行う。
  論文  参考訳（メタデータ） (2024-01-11T08:40:26Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Skip Training for Multi-Agent Reinforcement Learning Controller for Industrial Wave Energy Converters [94.84709449845352]
  近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。 従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。 本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
  論文  参考訳（メタデータ） (2022-09-13T00:20:31Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building [0.0]
  本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。 SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
  論文  参考訳（メタデータ） (2021-04-25T10:33:35Z)
• Regularizing Action Policies for Smooth Control with Reinforcement Learning [47.312768123967025]
  Conditioning for Action Policy Smoothness(CAPS)は、アクションポリシーの効果的な直感的な正規化である。 capsは、ニューラルネットワークコントローラの学習状態-動作マッピングの滑らかさを一貫して改善する。 実システムでテストしたところ、クアドロタードローンのコントローラーの滑らかさが改善され、消費電力は80%近く削減された。
  論文  参考訳（メタデータ） (2020-12-11T21:35:24Z)
• A Relearning Approach to Reinforcement Learning for Control of Smart Buildings [1.8799681615947088]
  本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。 我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
  論文  参考訳（メタデータ） (2020-08-04T23:31:05Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。