論文の概要: Dual-Loop Control in DCVerse: Advancing Reliable Deployment of AI in Data Centers via Digital Twins
- arxiv url: http://arxiv.org/abs/2604.07559v1
- Date: Wed, 08 Apr 2026 20:01:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.537104
- Title: Dual-Loop Control in DCVerse: Advancing Reliable Deployment of AI in Data Centers via Digital Twins
- Title（参考訳）: DCVerseにおけるデュアルループ制御:Digital TwinsによるデータセンタにおけるAIの信頼性向上
- Authors: Qingang Zhang, Yuejun Yan, Guangyu Wu, Siew-Chien Wong, Jimin Jia, Zhaoyang Wang, Yonggang Wen,
- Abstract要約: 深層強化学習(DRL)は知的制御の強い可能性を示しているが、ミッションクリティカルなシステムへの展開はデータ不足とリアルタイム事前評価機構の欠如によって制限されている。
本稿では,デジタルツインベースアーキテクチャであるDual-Loop Control Framework (DLCF)を紹介する。
このフレームワークは物理システム、デジタルツイン、多種多様なDRLエージェントのポリシー貯水池の3つのコアエンティティで構成されている。
- 参考スコア（独自算出の注目度）: 9.44096782663678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing scale and complexity of modern data centers present major challenges in balancing energy efficiency with outage risk. Although Deep Reinforcement Learning (DRL) shows strong potential for intelligent control, its deployment in mission-critical systems is limited by data scarcity and the lack of real-time pre-evaluation mechanisms. This paper introduces the Dual-Loop Control Framework (DLCF), a digital twin-based architecture designed to overcome these challenges. The framework comprises three core entities: the physical system, a digital twin, and a policy reservoir of diverse DRL agents. These components interact through a dual-loop mechanism involving real-time data acquisition, data assimilation, DRL policy training, pre-evaluation, and expert verification. Theoretical analysis shows how DLCF can improve sample efficiency, generalization, safety, and optimality. Leveraging DLCF, we implemented the DCVerse platform and validated it through case studies on a real-world data center cooling system. The evaluation shows that our approach achieves up to 4.09% energy savings over conventional control strategies without violating SLA requirements. Additionally, the framework improves policy interpretability and supports more trustworthy DRL deployment. This work provides a foundation for reliable AI-based control in data centers and points toward future extensions for holistic, system-wide optimization.
- Abstract（参考訳）: 現代のデータセンターの規模と複雑さの増大は、エネルギー効率と停止リスクのバランスをとる上で大きな課題となる。
深層強化学習(DRL)は知的制御の強い可能性を示しているが、ミッションクリティカルシステムへの展開はデータ不足とリアルタイム事前評価機構の欠如によって制限されている。
本稿では,デジタルツインベースアーキテクチャであるDual-Loop Control Framework (DLCF)を紹介する。
このフレームワークは物理システム、デジタルツイン、多種多様なDRLエージェントのポリシー貯水池の3つのコアエンティティで構成されている。
これらのコンポーネントは、リアルタイムデータ取得、データ同化、DRLポリシートレーニング、事前評価、エキスパート検証を含むデュアルループメカニズムを介して相互作用する。
理論的分析は、DLCFがサンプル効率、一般化、安全性、最適性をいかに改善できるかを示している。
DLCFを利用してDCVerseプラットフォームを実装し,実世界のデータセンター冷却システムのケーススタディを通じて検証した。
評価の結果,従来の制御戦略よりも最大4.09%の省エネが可能であり,SLAの要件に違反しないことがわかった。
さらに、このフレームワークはポリシーの解釈性を改善し、より信頼性の高いDRLデプロイメントをサポートする。
この研究は、データセンターにおける信頼性の高いAIベースの制御の基礎を提供し、総合的でシステム全体の最適化のための将来の拡張に向けたポイントを提供する。
関連論文リスト
- TwinRL-VLA: Digital Twin-Driven Reinforcement Learning for Real-World Robotic Manipulation [65.45588646626426]
本稿では,VLAモデルのスケールと探索のガイドを目的としたデジタルツインワールド協調RLフレームワークであるTwinRLを提案する。
まず、高忠実度デジタルツインをスマートフォンで捉えたシーンから効率的に再構成し、実環境とシミュレートされた環境間の現実的な双方向転送を可能にする。
我々の実験では、TwinRLは、実世界の実証と流通域の両方でカバーされた流通域において100%の成功に近づき、従来の実世界のRL法よりも少なくとも30%のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-02-09T18:59:52Z) - Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。
この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-01-12T05:43:20Z) - On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting [91.38734024438357]
Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の能力の強化と振る舞いの整合化のための訓練後パラダイムである。
SFTとRLを統合する既存のアプローチは、確立された応答パターンを乱し、専門家データに過度に適合するリスクに直面することが多い。
動的重み付けによるオン・アンド・オフ・ポリティクス強化学習の制御可能な調和のためのフレームワークであるCHORDを提案する。
論文 参考訳（メタデータ） (2025-08-15T11:20:03Z) - Transforming Future Data Center Operations and Management via Physical AI [24.063748316223343]
ミッションクリティカルなインフラとしてのデータセンターは、人工知能(AI)とデジタル経済の成長を支えている。
Internet DCからAI DCへの進化は、ビジネスレジリエンスの向上とオーナシップの総コスト削減のために、データセンタの運用と管理に関する新たな課題を導入している。
我々は,DCの運用と管理を進めるための新しい物理AI(PhyAI)フレームワークを提案し,開発する。
論文 参考訳（メタデータ） (2025-04-07T12:09:22Z) - Experimental evaluation of offline reinforcement learning for HVAC control in buildings [12.542463083734614]
建物における動的HVAC制御のために, 強化学習(RL)技術がますます研究されている。
本稿では,最先端のオフラインRLアルゴリズムの長所と短所を包括的に評価する。
論文 参考訳（メタデータ） (2024-08-15T07:25:52Z) - Digital Twin-Enhanced Deep Reinforcement Learning for Resource
Management in Networks Slicing [46.65030115953947]
本稿では,デジタルツインと強化学習エージェントからなるフレームワークを提案する。
具体的には、歴史的データとニューラルネットワークを用いて、実環境の状態変動則をシミュレートするデジタルツインモデルを構築することを提案する。
また、このフレームワークをオフラインで強化学習に拡張し、歴史的データのみに基づいたインテリジェントな意思決定にソリューションを利用できるようにします。
論文 参考訳（メタデータ） (2023-11-28T15:25:14Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳（メタデータ） (2023-04-20T17:11:05Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks [16.12495409295754]
次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
論文 参考訳（メタデータ） (2021-12-07T03:13:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。