論文の概要: Toward an Energy-Optimized Operation of Data Centers Located in Wind Farms Using Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.30316v1
- Date: Mon, 29 Jun 2026 13:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.255743
- Title: Toward an Energy-Optimized Operation of Data Centers Located in Wind Farms Using Reinforcement Learning
- Title（参考訳）: 強化学習を用いた風力発電所におけるデータセンターのエネルギー最適化運用に向けて
- Abstract要約: 強化学習(Reinforcement Learning)は、高性能なコンピューティングデータセンターにおいて、作業負荷の調整を意識したオンラインコントローラである。
本稿では,合成風と価格信号と遅延完了フィードバックを用いた定日シミュレーションフレームワークを提案する。
最適化に基づく学習とポテンシャルに基づくリワードシェーピングの2つの相補的な対策を評価する。
- 参考スコア（独自算出の注目度）: 39.799207552858114
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper studies Reinforcement Learning as an online controller for curtailment-aware workload shifting in wind-turbine-integrated high-performance computing (HPC) data centers. We introduce a reproducible fixed-day simulation framework with synthetic wind and price signals and delayed completion feedback, designed to be extensible toward more complex scenarios. As a controlled benchmarking basis, we then focus on the minimal case with one wind turbine and one co-located data center. In this setting, pure Reinforcement Learning exhibits a pronounced credit-assignment problem and tends to underuse free wind energy early in the day. We therefore evaluate two complementary countermeasures: optimization-based Imitation Learning and potential-based Reward Shaping. Across multi-seed training and a 200-day test set, Proximal Policy Optimization (PPO) and a Soft Actor-Critic (SAC) variant with an additional on-policy update routine achieve strong empirical performance among learned policies, and both Imitation Learning and Reward Shaping provide improvements in relevant configurations. A performance gap to the optimizer remains, which is expected: the optimizer plans offline with full-day foresight, whereas Reinforcement Learning must decide online from current observations without future realizations. The benchmark and ablation results provide a transparent basis for extending the approach toward richer multi-site and continuous-time scenarios.
- Abstract（参考訳）: 本稿では,風車統合ハイパフォーマンスコンピューティング(HPC)データセンターにおける作業負荷シフトを意識したオンラインコントローラとしての強化学習について検討する。
我々は,より複雑なシナリオに対して拡張可能な,合成風と価格信号と遅延完了フィードバックを備えた再現可能な固定日シミュレーションフレームワークを提案する。
制御されたベンチマークベースとして、1つの風力タービンと1つの同じ位置のデータセンターを持つ最小のケースに焦点を当てる。
この設定では、純粋な強化学習は明らかな信用割り当て問題を示し、その日の早い段階では風力エネルギーを過小評価する傾向がある。
そこで我々は,最適化に基づくImitation Learningとポテンシャルに基づくReward Shapingの2つの相補的対策を評価した。
マルチシードトレーニングと200日間のテストセット,PPO (Proximal Policy Optimization) とSAC (Soft Actor-Critic) の派生版では,追加のオンポリシー更新ルーチンが学習ポリシ間で強力な経験的パフォーマンスを実現し,Imitation Learning と Reward Shaping が関連構成の改善を提供する。
最適化者はフルデイの監視でオフラインで計画するが、Reinforcement Learningは将来の実現なしに現在の観察からオンラインを決定する必要がある。
ベンチマークとアブレーションの結果は、よりリッチなマルチサイトと継続的シナリオへのアプローチを拡張するための透明な基盤を提供する。
関連論文リスト
- A Comparative Study of Bayesian Contextual Bandits for Real-Time Warehouse Sorter Optimization [1.8807636852384417]
本研究では,高量電子商取引倉庫におけるインバウンド受信ソーダを主なユースケースとして用いた。
このリアルタイムソータディバージョン最適化の課題に対処するため、我々は3つのハイブリッド機械学習フレームワークの比較研究を行った。
以上の結果から,木に基づく報酬モデルでは予測能力は若干向上するが,BCBフレームワークは全体のパフォーマンス向上を実現し,ベースラインに対する報酬の上昇率は2.03%であった。
論文 参考訳（メタデータ） (2026-06-22T22:07:36Z) - FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。
具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。
同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
論文 参考訳（メタデータ） (2026-05-18T12:48:36Z) - A Systematic Post-Train Framework for Video Generation [76.26555417456773]
大規模ビデオ拡散モデルでは、高解像度でセマンティックにリッチなコンテンツを生成できることが顕著に示されている。
迅速な感度、時間的不整合、禁止的推論コストといった重要な問題のために、事前訓練されたパフォーマンスと実際のデプロイメント要件の間には、大きなギャップが残っている。
本研究では,事前学習されたモデルとユーザの意図を4つの相乗的段階を通して体系的に整合させる総合的なポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-28T09:34:51Z) - AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。
我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-08T10:55:03Z) - Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。
ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
論文 参考訳（メタデータ） (2026-02-02T00:50:53Z) - Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。
この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
論文 参考訳（メタデータ） (2025-12-01T07:45:39Z) - Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing [4.370892281528124]
本稿では, コンフィグレーション割り当てを逐次決定問題として再放送する, 新たな強化学習フレームワークを提案する。
提案手法は,Q-ラーニングをシミュレーション結果とリアルタイムフィードバックを融合したハイブリッド報酬設計と統合する最初の方法である。
論文 参考訳（メタデータ） (2025-10-02T05:12:28Z) - Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。
オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。
オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
論文 参考訳（メタデータ） (2025-09-01T10:04:20Z) - Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。
本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。
目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
論文 参考訳（メタデータ） (2025-07-24T21:11:39Z) - Energy-Efficient Federated Edge Learning with Streaming Data: A Lyapunov Optimization Approach [34.00679567444125]
本研究では,長期エネルギー制約下でのデータ到着や資源の可利用性に固有のランダム性に対処する動的スケジューリングと資源割当アルゴリズムを開発した。
提案アルゴリズムは, デバイススケジューリング, 計算容量調整, 帯域幅の割り当ておよび各ラウンドの送信電力を適応的に決定する。
本手法の有効性をシミュレーションにより検証し,ベースライン方式と比較して学習性能とエネルギー効率が向上したことを示す。
論文 参考訳（メタデータ） (2024-05-20T14:13:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。