論文の概要: Learning to Modulate, Not to Cycle: Soft Actor---Critic Recovers Inverter-Style Heat-Pump Control

• arxiv url: http://arxiv.org/abs/2608.09453v1
• Date: Mon, 10 Aug 2026 11:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.22147
• Title: Learning to Modulate, Not to Cycle: Soft Actor---Critic Recovers Inverter-Style Heat-Pump Control
• Title（参考訳）: シミュレーションの学習:ソフトアクタ--インバータ型ヒートポンプ制御の回復
• Abstract要約: オンオフサイクルは住宅用ヒートポンプにおける圧縮機の摩耗の主な原因である。 結果の振る舞いが強化学習アルゴリズムにどのように依存するかを考察する。
• 参考スコア（独自算出の注目度）: 1.3891530345631953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On--off cycling is the main cause of compressor wear in residential heat pumps, yet reinforcement learning (RL) controllers for buildings typically optimise only energy cost and thermal comfort, ignoring how much the learned policy cycles. We add a levelised compressor-wear term to the control reward and study how the resulting behaviour depends on the RL algorithm. Training Soft Actor---Critic (SAC) and Proximal Policy Optimisation (PPO) on an identical Markov decision process for the BOPTEST bestest hydronic heat pump case, we find that SAC learns a continuous modulation policy that keeps the compressor permanently engaged---the operating principle of an inverter-driven heat pump---achieving zero start-ups per day, whereas PPO collapses to bang-bang control that cycles more than the baseline. On the BOPTEST emulator the SAC policy cuts thermal discomfort by up to 90.7% for an 11.5% cost increase, while eliminating all baseline cycling.
• Abstract（参考訳）: オンオフサイクルは住宅用ヒートポンプの圧縮機摩耗の主な原因であるが、建築用強化学習(RL)コントローラは一般的にエネルギーコストと熱的快適さだけを最適化し、学習された政策サイクルの量を無視している。 我々は、制御報酬にレベル付き圧縮機-ウェアの項を追加し、その結果の振る舞いがRLアルゴリズムにどのように依存するかを研究する。 SAC(Soft Actor--Critic)とPPO(Proximal Policy Optimisation)をBOPTESTベストハイドロニックヒートポンプケースで同一のマルコフ決定プロセスで訓練した結果、SACは圧縮機を永久に係止する連続変調ポリシーを学習し、インバータ駆動ヒートポンプの動作原理を1日あたりゼロ起動を達成し、PPOはベースライン以上のバンバンバン制御に崩壊することがわかった。 BOPTESTエミュレータでは、サーマルな不快感を最大90.7%削減し、11.5%のコスト向上を実現した。

関連論文リスト

• WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation [67.83495924117089]
  大規模並列シミュレーションは、非政治強化学習を訓練するデータ体制を変える。 これらの安定化器はデータ登録に依存していることを示す。 我々は、政治外RLアルゴリズムのレシシック対応ファミリーであるWarpSACを提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:24:15Z)
• PIRS: Physics-Informed Reward Shaping for SAC-Based Building Energy Management [0.0]
  提案するPIRS (Physics-Informed Reward Shaping) は,ISO 7730 Predicted Mean Vote (PMV) の定式化により,アドホックな快適なプロキシを置き換える。 PMVの定式化において快適なシグナルを固定することにより、PIRSは報酬の解釈性を改善し、標準的グラウンドの快適なプロキシを提供する。 PIRSは、手動のベースラインと同等のコスト、炭素、電気の計測値を得ると同時に、非物理学的な地上設計を大幅に上回っている。
  論文  参考訳（メタデータ） (2026-05-27T09:45:14Z)
• Shielded Controller Units for RL with Operational Constraints Applied to Remote Microgrids [50.64533198075622]
  強化学習(Reinforcement Learning, RL)は、不確実性の下で複雑なシステムにおける意思決定を最適化するための強力なフレームワークである。 本稿では,システムダイナミクスの事前知識を活用する体系的かつ解釈可能なアプローチであるシールド制御ユニット(SCU)を紹介する。 本研究では,厳密な運用要件を持つ遠隔マイクログリッド最適化タスクにおけるSCUの有効性を示す。
  論文  参考訳（メタデータ） (2025-11-30T19:28:34Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
  可変制御率を持つ強化学習(RL)の変種を提案する。 このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。 ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
  論文  参考訳（メタデータ） (2024-01-17T15:40:11Z)
• Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation [72.24964965882783]
  強化学習(RL)はロボットナビゲーションにおいて有望なアプローチであり、ロボットは試行錯誤を通じて学習することができる。 現実世界のロボットタスクは、しばしばまばらな報酬に悩まされ、非効率な探索と準最適政策に繋がる。 本稿では,RLに基づくロボットナビゲーションにおいて,報酬関数を変更せずにサンプル効率を向上させる新しい手法であるConfidence-Controlled Exploration (CCE)を紹介する。
  論文  参考訳（メタデータ） (2023-06-09T18:45:15Z)
• Deep Reinforcement Learning for Heat Pump Control [0.0]
  本研究は, 模擬環境下でのヒートポンプ制御に深部強化学習を適用した。 MPCのような性能を実現するためにDRLをモデルフリーで適用できることが示せる。
  論文  参考訳（メタデータ） (2022-12-24T11:24:08Z)
• Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building [0.0]
  本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。 SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
  論文  参考訳（メタデータ） (2021-04-25T10:33:35Z)
• A Relearning Approach to Reinforcement Learning for Control of Smart Buildings [1.8799681615947088]
  本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。 我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
  論文  参考訳（メタデータ） (2020-08-04T23:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。