論文の概要: Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control
- arxiv url: http://arxiv.org/abs/2607.27914v1
- Date: Thu, 30 Jul 2026 09:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.486694
- Title: Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control
- Title（参考訳）: 実効作用値が十分ではない:マルチゾーンVAV制御のための共振モデルのロールアウト検証強化微調整
- Abstract要約: マルチゾーン可変空気量制御は、熱的快適性、室内空気質、電気使用のバランスをとる必要がある。
まず,フロンティア推論モデルを用いて,テキストから競争力のあるVAV制御を実現することができるかどうかを,建築固有の訓練を使わずに検証する。
次に、TD3誘導強化微調整(RFT)が制御知識を局所展開可能なオープンウェイトモデルに転送できるかどうかを検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-zone variable-air-volume control must balance thermal comfort, indoor air quality, and electricity use across several continuous actuators. Model predictive control and reinforcement learning are widely studied, but deployment typically requires building-specific modeling or training, limiting scalability. We first test whether a frontier reasoning model (an LLM trained to use additional inference-time computation) can achieve competitive VAV control from text without building-specific training. With that capability established, we then test whether TD3-guided reinforcement fine-tuning (RFT) can transfer control knowledge into a locally deployable open-weight model. Five controllers are evaluated over three summer days in a physics-based four-zone emulator. Relative to a Guideline 36-based baseline, TD3 reduced HVAC electricity by 4.5% while improving temperature and CO$_2$ compliance. Without building-specific training, GPT-5 achieved the largest reduction (6.2%) but reduced the ventilation margin. For RFT, deterministic rollouts restore a saved state, apply one candidate, and follow TD3 to score each action. Auditing a learned critic against these rollouts exposed a failure hidden by its near-perfect across-time correlation ($r=0.9998$): within-state ranking was unreliable; the critic selected the rollout-best candidate in only 5 of 10 states. Even with the rollout verifier, 200 RFT steps produced no sustained improvement in sampled-action return; the open-weight controller used more electricity than the baseline before and after training, and its five-minute predictions remained worse than persistence. GPT-5 predicted transitions far better. Exact rollout scores rank sampled actions but reveal neither next-state effects nor an improvement direction. The unchanged transition errors motivate transition-focused supervised fine-tuning before value-based RFT.
- Abstract（参考訳）: マルチゾーン可変空気体積制御は、熱的快適性、室内空気質、電気使用のバランスをとる必要がある。
モデル予測制御と強化学習は広く研究されているが、デプロイは通常、拡張性を制限する、ビルド固有のモデリングやトレーニングを必要とする。
まず,フロンティア推論モデル(追加の推論時間計算を使用するように訓練されたLLM)が,ビルド固有のトレーニングを伴わずに,テキストから競合するVAV制御を実現できるかどうかを検証した。
その能力を確立して、TD3誘導強化微調整(RFT)が制御知識を局所展開可能なオープンウェイトモデルに転送できるかどうかを検証する。
5つのコントローラーは、物理学に基づく4ゾーンエミュレータで3日間にわたって評価される。
ガイドライン36ベースのベースラインとは対照的に、TD3はHVACの電力を4.5%削減し、温度とCO$2のコンプライアンスを改善した。
建物固有の訓練がなければ、GPT-5は最大の減圧(6.2%)を達成したが、換気マージンは減少した。
RFTでは、決定論的ロールアウトが保存された状態を復元し、1つの候補を適用し、TD3に従って各アクションをスコアする。
これらのロールアウトに対する学識ある批判は、ほぼ完全なクロスタイム相関(r=0.9998$)によって隠された失敗を暴露した。
ロールアウト検証でも200RFTのステップはサンプル・アクション・リターンの持続的な改善は得られず、オープンウェイト・コントローラーはトレーニング前後にベースラインよりも多くの電気を使用し、5分間の予測は持続性よりも悪いままであった。
GPT-5は遷移を予測した。
厳密なロールアウトは、サンプリングされたアクションをランク付けするが、次の状態効果も改善方向も明らかにしない。
変わらずの遷移誤差は、値ベースのRFTの前に遷移中心の教師付き微調整を動機付けている。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control [0.0]
本研究は,証明可能な報酬を伴う強化学習を通じて,オープンウェイト推論モデルに適応する。
30の訓練プロンプトのみを使用して、強化微調整(RFT)は上層階のスケジューラとしてモデルを訓練する。
RFTは、オープンウェイトモデルの排出量を70.5から61.2kg-CO2に削減する。
論文 参考訳（メタデータ） (2026-07-14T15:08:39Z) - Does "Do Differentiable Simulators Give Better Policy Gradients?'' Give Better Policy Gradients? [25.53040167917892]
不連続力学はバイアスを引き起こし、1階推定器の有効性を損なう。
非滑らかな領域で推定器を切り替える軽量なテストであるDDCGを導入する。
また,各ステップ毎の逆分散実装であるIVW-Hについて,明示的な不連続検出を伴わずに分散を安定化する。
論文 参考訳（メタデータ） (2026-04-20T12:23:48Z) - SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。
本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。
オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
論文 参考訳（メタデータ） (2026-04-14T11:45:15Z) - ScoRe-Flow: Complete Distributional Control via Score-Based Reinforcement Learning for Flow Matching [14.421249343302028]
フローマッチング(FM)ポリシーは、ロボット制御の効率的なバックボーンとして登場した。
本稿では,楽譜に基づくRLファインチューニング手法であるScoRe-Flowを提案する。
論文 参考訳（メタデータ） (2026-04-13T03:56:37Z) - Meta-Adaptive Beam Search Planning for Transformer-Based Reinforcement Learning Control of UAVs with Overhead Manipulators under Flight Disturbances [8.618483849755604]
オーバーヘッドマニピュレータを備えたドローンは、検査、メンテナンス、コンタクトベースのインタラクションにユニークな機能を提供する。
ドローンとそのマニピュレータの動作は強く結びついており、風や制御の欠陥による小さな姿勢の変化でさえ、エンドエフェクターを意図した経路から遠ざける。
変換器をベースとしたDouble Deep Q Learning (DDQN) を用いた強化学習フレームワークを開発した。
これにより、コントローラは実際のモデル上でこれらのアクションを直接実行するのではなく、シミュレーションされたロールアウトを通じてエンドエフェクタの動きを予測できる。
論文 参考訳（メタデータ） (2026-03-27T17:08:40Z) - TEFL: Prediction-Residual-Guided Rolling Forecasting for Multi-Horizon Time Series [4.942021101617155]
本研究では,トレーニングと評価の両方において,過去の残差を予測パイプラインに明示的に組み込んだ統合学習フレームワークを提案する。
10の現実世界のデータセットと5つのバックボーンアーキテクチャによる実験では、TEFLは一貫して精度を改善し、MAEを平均で5～10%削減している。
急激な変化と分布シフトの下で強い堅牢性を示し、困難なシナリオではエラーの削減が10%(最大19.5%)を超える。
論文 参考訳（メタデータ） (2026-02-26T01:31:58Z) - Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail [85.47497935739936]
Alpamayo-R1 (AR1) は、因果推論の連鎖と軌道計画を統合する視覚言語モデルである。
また,AR1は,軌道のみのベースラインに比べて,難問の計画精度が12%向上することを示した。
今後のアップデートで、AR1モデルとCoCのサブセットをリリースする予定です。
論文 参考訳（メタデータ） (2025-10-30T01:25:34Z) - DATT: Deep Adaptive Trajectory Tracking for Quadrotor Control [62.24301794794304]
Deep Adaptive Trajectory Tracking (DATT)は、学習に基づくアプローチであり、現実世界の大きな乱れの存在下で、任意の、潜在的に実現不可能な軌跡を正確に追跡することができる。
DATTは、非定常風場における可溶性および非実用性の両方の軌道に対して、競争適応性非線形およびモデル予測コントローラを著しく上回っている。
適応非線形モデル予測制御ベースラインの1/4未満である3.2ms未満の推論時間で、効率的にオンラインで実行することができる。
論文 参考訳（メタデータ） (2023-10-13T12:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。