論文の概要: Data Center Cooling System Optimization Using Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.15085v1
• Date: Sat, 25 Jan 2025 05:28:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:55.126958
• Title: Data Center Cooling System Optimization Using Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習を用いたデータセンター冷却システムの最適化
• Authors: Xianyuan Zhan, Xiangyu Zhu, Peng Cheng, Xiao Hu, Ziteng He, Hanfei Geng, Jichao Leng, Huiwen Zheng, Chenhui Liu, Tianshun Hong, Yan Liang, Yunxin Liu, Feng Zhao,
• Abstract要約: 直流冷却システムのエネルギー効率最適化のための物理インフォームドオフライン強化学習(RL)フレームワークを提案する。 私たちのフレームワークは,ACUのクローズドループ制御のために,大規模生産用DCに導入され,検証されている。 以上の結果から,直流冷却システムにおいて安全・運転制約に違反することなく1421%の省エネを達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 30.98988945194416
• License:
• Abstract: The recent advances in information technology and artificial intelligence have fueled a rapid expansion of the data center (DC) industry worldwide, accompanied by an immense appetite for electricity to power the DCs. In a typical DC, around 30~40% of the energy is spent on the cooling system rather than on computer servers, posing a pressing need for developing new energy-saving optimization technologies for DC cooling systems. However, optimizing such real-world industrial systems faces numerous challenges, including but not limited to a lack of reliable simulation environments, limited historical data, and stringent safety and control robustness requirements. In this work, we present a novel physics-informed offline reinforcement learning (RL) framework for energy efficiency optimization of DC cooling systems. The proposed framework models the complex dynamical patterns and physical dependencies inside a server room using a purposely designed graph neural network architecture that is compliant with the fundamental time-reversal symmetry. Because of its well-behaved and generalizable state-action representations, the model enables sample-efficient and robust latent space offline policy learning using limited real-world operational data. Our framework has been successfully deployed and verified in a large-scale production DC for closed-loop control of its air-cooling units (ACUs). We conducted a total of 2000 hours of short and long-term experiments in the production DC environment. The results show that our method achieves 14~21% energy savings in the DC cooling system, without any violation of the safety or operational constraints. Our results have demonstrated the significant potential of offline RL in solving a broad range of data-limited, safety-critical real-world industrial control problems.
• Abstract（参考訳）: 情報技術と人工知能の最近の進歩は、データセンター(DC)産業の急速な拡大に拍車をかけた。 典型的なDCでは、約30～40%のエネルギーがコンピュータサーバーではなく冷却システムに費やされ、DC冷却システムのための新しい省エネ最適化技術を開発する必要性が高まっている。 しかし、そのような実世界の産業システムの最適化には、信頼性のあるシミュレーション環境の欠如、限られた歴史データ、厳密な安全と制御の堅牢性要件など、多くの課題に直面している。 本研究では,直流冷却システムのエネルギー効率最適化のための物理インフォームドオフライン強化学習(RL)フレームワークを提案する。 提案するフレームワークは,基本的時間反転対称性に準拠した目的設計のグラフニューラルネットワークアーキテクチャを用いて,サーバルーム内の複雑な動的パターンと物理的依存関係をモデル化する。 状態-動作表現が良く、一般化可能なため、このモデルは、限られた実世界の運用データを使用して、サンプリング効率が高く、堅牢な潜在空間のオフラインポリシー学習を可能にする。 当社のフレームワークは,ACUのクローズドループ制御のために,大規模生産用DCに配備され,検証されている。 生産用DC環境では,2000時間の短期および長期にわたる実験を行った。 以上の結果から,直流冷却システムにおける14～21%の省エネを安全・運転制約に違反することなく達成できることが示唆された。 以上の結果から,データ限定型,安全クリティカルな実世界の産業制御問題を解決する上で,オフラインRLの有意義な可能性を示すことができた。

関連論文リスト

• Secure Resource Allocation via Constrained Deep Reinforcement Learning [49.15061461220109]
  リソース割り当て、タスクオフロード、セキュリティ、パフォーマンスのバランスをとるフレームワークであるSARMTOを紹介します。 SARMTOは5つのベースラインアプローチを一貫して上回り、最大40%のシステムコスト削減を実現している。 これらの拡張は、複雑な分散コンピューティング環境におけるリソース管理に革命をもたらすSARMTOの可能性を強調している。
  論文  参考訳（メタデータ） (2025-01-20T15:52:43Z)
• A Cloud-Edge Framework for Energy-Efficient Event-Driven Control: An Integration of Online Supervised Learning, Spiking Neural Networks and Local Plasticity Rules [0.0]
  本稿では,複雑な制御系における計算とエネルギーの制約に対処する新しいクラウドエッジフレームワークを提案する。 生物学的に妥当な学習法を局所的可塑性規則と組み合わせることで、スパイキングニューラルネットワーク(SNN)の効率性、スケーラビリティ、低レイテンシを活用する。 この設計は、植物に直接クラウドベースのコントローラからの制御信号を複製し、絶え間なく植物とクラウドの通信が不要になる。
  論文  参考訳（メタデータ） (2024-04-12T22:34:17Z)
• Carbon Footprint Reduction for Sustainable Data Centers in Real-Time [2.794742330785396]
  本稿では, 炭素フットプリント削減, エネルギー消費, エネルギーコストの目的のために, データセンターを最適化するための多エージェント強化学習(MARL)フレームワークを提案する。 その結果,DC-CFR MARLエージェントは実世界の動的気象条件やグリッド炭素強度条件下での様々な場所での冷却,負荷シフト,エネルギー貯蔵の最適化において,複雑な相互依存性を効果的に解決した。
  論文  参考訳（メタデータ） (2024-03-21T02:59:56Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework [58.474610046294856]
  産業システムは、運用効率を高め、ダウンタイムを減らすための信頼性の高い予測保守戦略を要求する。 本稿では,Transformerモデルに基づくニューラルネットワークと深部強化学習(DRL)アルゴリズムの機能を活用し,システムの保守動作を最適化する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T02:27:54Z)
• Efficient Learning of Voltage Control Strategies via Model-based Deep Reinforcement Learning [9.936452412191326]
  本稿では,電力系統の短期電圧安定性問題に対する緊急制御戦略を設計するためのモデルベース深部強化学習(DRL)手法を提案する。 近年, モデルフリーDRL方式の電力系統への適用が期待できるが, モデルフリー方式はサンプル効率の低下と訓練時間に悩まされている。 本稿では,Deep Neural Network(DNN)に基づく動的代理モデルを用いた新しいモデルベースDRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-06T02:50:53Z)
• Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
  強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。 我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
  論文  参考訳（メタデータ） (2022-08-12T17:13:25Z)
• Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building [0.0]
  本研究は,Soft Actor Critic'(SAC)に基づくDeep Reinforcement Learning(DRL)の新規適用と研究に関するものである。 SACは、連続的なアクションスペースを処理できるモデルフリーのDRL技術です。
  論文  参考訳（メタデータ） (2021-04-25T10:33:35Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。