論文の概要: Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control

• arxiv url: http://arxiv.org/abs/2607.12856v1
• Date: Tue, 14 Jul 2026 15:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.180392
• Title: Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control
• Title（参考訳）: 熱エネルギー貯蔵制御のための共振モデルの検証器による強化微調整
• Abstract要約: 本研究は,証明可能な報酬を伴う強化学習を通じて,オープンウェイト推論モデルに適応する。 30の訓練プロンプトのみを使用して、強化微調整(RFT)は上層階のスケジューラとしてモデルを訓練する。 RFTは、オープンウェイトモデルの排出量を70.5から61.2kg-CO2に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Buildings are expected to shift cooling loads in response to grid conditions. Thermal energy storage (TES) enables this shift, but scheduling it well requires planning hours ahead under storage constraints. Model predictive control (MPC) and reinforcement learning are difficult to scale across buildings. This study instead adapts an open-weight reasoning model through reinforcement learning with verifiable rewards (RLVR). We convert exact offline dynamic-programming (DP) action values into dense rewards for every candidate action. Using only 30 training prompts, reinforcement fine-tuning (RFT) trains the model as an upper-level scheduler that outputs hourly heat-pump setpoints from text-based states and forecasts. Evaluation uses a deliberately simple office-building TES benchmark where exact DP is tractable and the optimum is known. RFT reduces the open-weight model's emissions from 70.5 to 61.2 kg-CO2, close to the DP optimum of 60.8 kg-CO2. GPT-5 nearly matches DP and MPC without task-specific training, while GPT-4o, a non-reasoning LLM, produces higher emissions than the no-storage baseline, so inference-time reasoning appears important. Trace analysis shows that RFT mainly stabilizes observable planning patterns (candidate comparison, look-ahead, and feasibility checking) rather than creating a new strategy. Robustness and generalization tests clarify what transfers: the reinforced planning patterns persist under forecast errors and an unseen TES condition and carry over to a battery task, but its different structure limits the gains. DP-based verifiable rewards offer a practical way to adapt open-weight reasoning models to building storage scheduling. These results motivate higher-fidelity tests of whole-building control and scalable verifiers for city-scale energy management.
• Abstract（参考訳）: ビルはグリッド条件に応じて冷却負荷をシフトすると予想されている。 熱エネルギーストレージ(TES)は、このシフトを可能にするが、適切にスケジューリングするには、ストレージ制約の前の計画時間が必要である。 モデル予測制御(MPC)と強化学習は、建物全体にわたってスケールすることが困難である。 そこで本研究では,RLVRを用いた強化学習を通じて,オープンウェイト推論モデルを適用した。 我々は、正確なオフライン動的プログラミング(DP)アクション値を、すべての候補アクションに対して高密度な報酬に変換する。 30のトレーニングプロンプトのみを使用して、強化微調整(RFT)は、テキストベースの状態と予測から時給ヒートポンプセットポイントを出力する上位レベルのスケジューラとしてモデルを訓練する。 評価は、厳密なDPが抽出可能で最適が知られている、意図的に単純なオフィスビルTESベンチマークを使用する。 RFTは、オープンウェイトモデルの排出量を70.5から61.2 kg-CO2に減らし、DP最適化の60.8 kg-CO2に近い。 GPT-5 は DP と MPC とほぼ一致し,非推論LDM である GPT-4o は非記憶ベースラインよりも高いエミッションを発生させるため,推論時間推論が重要であると考えられる。 トレース分析により、RFTは、新しい戦略を作成するのではなく、観測可能な計画パターン(候補比較、ルックアヘッド、実現可能性検査)を主に安定化させることが示された。 強化計画パターンは予測エラーと見えないTES条件下で継続し、バッテリータスクに継続するが、その異なる構造は利得を制限する。 DPベースの検証可能な報酬は、ストレージスケジューリングの構築にオープンウェイト推論モデルを適用する実用的な方法を提供する。 これらの結果は、都市規模のエネルギー管理のために、ビル全体の制御と拡張性検証の高忠実度試験を動機付けている。

関連論文リスト

• Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control [0.0]
  マルチゾーン可変空気量制御は、熱的快適性、室内空気質、電気使用のバランスをとる必要がある。 まず,フロンティア推論モデルを用いて,テキストから競争力のあるVAV制御を実現することができるかどうかを,建築固有の訓練を使わずに検証する。 次に、TD3誘導強化微調整(RFT)が制御知識を局所展開可能なオープンウェイトモデルに転送できるかどうかを検証する。
  論文  参考訳（メタデータ） (2026-07-30T09:28:37Z)
• Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers [0.0]
  倉庫における自律移動ロボット(AMR)の電池充電は、注文処理時間とスループットの両方に大きな影響を与える重要な運用上の課題である。 本研究では,ロボットが最適な充電決定を学習しなければならないオーダー到着時の動的AMR充電問題に対処する。 固定充電ステーションを有するマルチブロック倉庫を対象とした,PPOに基づくDeep Reinforcement Learning(DRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-06T22:52:47Z)
• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• Beyond Test-Time Training: Learning to Reason via Hardware-Efficient Optimal Control [86.63490309209378]
  我々は、最適制御として推論を定式化し、推論時に潜在状態に対して有限水平LQR計画を行うテスト時間制御層を導入する。 アーキテクチャ層として最適制御を組み込むことは、テスト時間トレーニングを超えた推論のための効果的でスケーラブルなメカニズムを提供することを実証する。
  論文  参考訳（メタデータ） (2026-03-10T05:42:13Z)
• PILOT: Planning via Internalized Latent Optimization Trajectories for Large Language Models [51.43746425777865]
  大規模言語モデル(LLM)は、しばしばグローバル戦略を定式化する能力に欠けており、長い水平タスクにおけるエラーの伝播につながる。 PILOTは,大規模モデルの戦略的監視を本質的な潜伏誘導に内部化するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T12:38:56Z)
• Universal Battery Degradation Forecasting Driven by Foundation Model Across Diverse Chemistries and Conditions [15.502149500162227]
  この研究は、様々な化学薬品や使用シナリオにわたる堅牢なパフォーマンスを維持する、統一されたキャパシティ予測フレームワークを提案する。 我々は20の公開老化データセットを1,704個の細胞と3,961,195個の充電サイクルセグメントを含む大規模コーパスにキュレートした。 観測されたデータセットと、意図的に保持されていないデータセットの両方の実験は、単一の統一モデルが、強いデータセット毎のベースラインと比較して、競争力または優れた精度を達成することを示している。
  論文  参考訳（メタデータ） (2025-12-30T10:14:37Z)
• KAT-V1: Kwai-AutoThink Technical Report [50.84483585850113]
  Kwaipilot-AutoThink (KAT) はオープンソースの40B大言語モデルであり、推論集約タスクにおける過大な問題に対処するために開発された。 KATはタスクの複雑さに基づいて推論モードと非推論モードを動的に切り替える。 また、GRPOフレームワークに中間管理を組み込んだ強化学習アルゴリズムであるStep-SRPOを提案する。
  論文  参考訳（メタデータ） (2025-07-11T04:07:10Z)
• Probabilistic Forecasting for Building Energy Systems using Time-Series Foundation Models [20.57107693396709]
  エネルギーシステムの構築は、関連する時系列モデルの予測精度に依存する。 本稿では,建築エネルギー予測における時系列基礎モデル(TSFM)の適用性と微調整戦略について検討する。
  論文  参考訳（メタデータ） (2025-05-31T16:38:29Z)
• IISE PG&E Energy Analytics Challenge 2025: Hourly-Binned Regression Models Beat Transformers in Load Forecasting [0.0]
  本研究では,古典的回帰手法から高度なディープラーニングアーキテクチャに至るまで,予測モデルを評価する。 このデータセットには、過去2年間の電力負荷データと、5つの場所にわたる温度およびグローバル水平照射(GHI)が含まれている。 その結果、TimeGPTを含むディープラーニングモデルは、より単純な統計的および機械学習アプローチを一貫して上回りません。
  論文  参考訳（メタデータ） (2025-05-16T15:55:34Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)
• Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building [0.0]
  本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。 SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
  論文  参考訳（メタデータ） (2021-04-25T10:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。