論文の概要: Optimizing Industrial HVAC Systems with Hierarchical Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2209.08112v1
- Date: Fri, 16 Sep 2022 18:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 17:35:00.638482
- Title: Optimizing Industrial HVAC Systems with Hierarchical Reinforcement
Learning
- Title(参考訳): 階層型強化学習による産業用HVACシステムの最適化
- Authors: William Wong, Praneet Dutta, Octavian Voicu, Yuri Chervonyi, Cosmin
Paduraru, Jerry Luo
- Abstract要約: 産業用冷却システムの最適化のために強化学習技術が開発され、省エネが図られている。
産業制御における大きな課題は、機械の制約により現実世界で実現可能な学習行動である。
動作時間尺度に応じて動作のサブセットを制御する複数のエージェントによる階層的強化学習を使用する。
- 参考スコア(独自算出の注目度): 1.7489518849687256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) techniques have been developed to optimize
industrial cooling systems, offering substantial energy savings compared to
traditional heuristic policies. A major challenge in industrial control
involves learning behaviors that are feasible in the real world due to
machinery constraints. For example, certain actions can only be executed every
few hours while other actions can be taken more frequently. Without extensive
reward engineering and experimentation, an RL agent may not learn realistic
operation of machinery. To address this, we use hierarchical reinforcement
learning with multiple agents that control subsets of actions according to
their operation time scales. Our hierarchical approach achieves energy savings
over existing baselines while maintaining constraints such as operating
chillers within safe bounds in a simulated HVAC control environment.
- Abstract(参考訳): 産業用冷却システムを最適化するために強化学習(rl)技術が開発され、従来のヒューリスティックな政策と比較してかなりの省エネルギーを提供している。
産業制御における大きな課題は、機械の制約により現実世界で実現可能な学習行動である。
例えば、特定のアクションは数時間毎にのみ実行されるが、他のアクションはより頻繁に実行される。
広範な報酬工学と実験がなければ、RLエージェントは機械の現実的な操作を学ばない。
これを解決するために,複数のエージェントによる階層的強化学習を用い,操作時間尺度に応じて動作のサブセットを制御する。
我々の階層的アプローチは、シミュレーションされたHVAC制御環境において、安全な境界内での冷却器の運転などの制約を維持しながら、既存のベースラインに対する省エネを実現する。
関連論文リスト
- A Safe Reinforcement Learning Algorithm for Supervisory Control of Power
Plants [7.1771300511732585]
モデルフリー強化学習(RL)は、制御タスクのための有望なソリューションとして登場した。
本稿では,監督制御のための近似ポリシ最適化に基づく確率制約付きRLアルゴリズムを提案する。
本手法は, 原子力プラント設計における負荷追従操作において, 違反距離と違反率の最小化を実現するものである。
論文 参考訳(メタデータ) (2024-01-23T17:52:49Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-10-18T06:07:10Z) - Surrogate Empowered Sim2Real Transfer of Deep Reinforcement Learning for
ORC Superheat Control [12.567922037611261]
本稿では,ORCスーパーヒート制御のためのSim2Real転送学習型DRL制御法を提案する。
実験結果から,ORC制御問題におけるDRLのトレーニング速度を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2023-08-05T01:59:44Z) - Controlling dynamical systems to complex target states using machine
learning: next-generation vs. classical reservoir computing [68.8204255655161]
機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。
まず, 従来の貯水池計算が優れていることを示す。
次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。
その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
論文 参考訳(メタデータ) (2023-07-14T07:05:17Z) - Exploration Policies for On-the-Fly Controller Synthesis: A
Reinforcement Learning Approach [0.0]
強化学習(RL)に基づく非有界学習のための新しい手法を提案する。
我々のエージェントは、非常に観察可能な部分的なRLタスクでスクラッチから学習し、トレーニング中に見つからないケースで、全体のパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2022-10-07T20:28:25Z) - Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。
我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
論文 参考訳(メタデータ) (2022-08-12T17:13:25Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳(メタデータ) (2022-04-14T17:46:26Z) - Enforcing Policy Feasibility Constraints through Differentiable
Projection for Energy Optimization [57.88118988775461]
本稿では,ニューラルポリシー内での凸操作制約を強制するために,PROF(Projected Feasibility)を提案する。
エネルギー効率の高い建築操作とインバータ制御の2つの応用についてPROFを実証する。
論文 参考訳(メタデータ) (2021-05-19T01:58:10Z) - Development of a Soft Actor Critic Deep Reinforcement Learning Approach
for Harnessing Energy Flexibility in a Large Office Building [0.0]
本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。
SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
論文 参考訳(メタデータ) (2021-04-25T10:33:35Z) - Efficient Transformers in Reinforcement Learning using Actor-Learner
Distillation [91.05073136215886]
「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。
Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
論文 参考訳(メタデータ) (2021-04-04T17:56:34Z) - A Relearning Approach to Reinforcement Learning for Control of Smart
Buildings [1.8799681615947088]
本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。
我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
論文 参考訳(メタデータ) (2020-08-04T23:31:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。