論文の概要: DeepThermal: Combustion Optimization for Thermal Power Generating Units
Using Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2102.11492v2
- Date: Wed, 24 Feb 2021 04:05:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:48:50.996543
- Title: DeepThermal: Combustion Optimization for Thermal Power Generating Units
Using Offline Reinforcement Learning
- Title（参考訳）: DeepThermal: オフライン強化学習を用いた火力発電ユニットの燃焼最適化
- Authors: Xianyuan Zhan, Haoran Xu, Yue Zhang, Yusen Huo, Xiangyu Zhu, Honglei
Yin, Yu Zheng
- Abstract要約: 本研究では,火力発電ユニットの燃焼制御戦略を最適化する新しいデータ駆動型aiシステム,deepthermalを開発した。
その中核は、MOREと呼ばれる新しいモデルベースのオフライン強化学習フレームワークである。
より長期的な報酬(燃焼効率の向上と汚染物質排出の低減)と運用リスク(安全制約満足度)の同時改善を目標とする。
- 参考スコア（独自算出の注目度）: 25.710523867709664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Thermal power generation plays a dominant role in the world's electricity
supply. It consumes large amounts of coal worldwide, and causes serious air
pollution. Optimizing the combustion efficiency of a thermal power generating
unit (TPGU) is a highly challenging and critical task in the energy industry.
We develop a new data-driven AI system, namely DeepThermal, to optimize the
combustion control strategy for TPGUs. At its core, is a new model-based
offline reinforcement learning (RL) framework, called MORE, which leverages
logged historical operational data of a TPGU to solve a highly complex
constrained Markov decision process problem via purely offline training. MORE
aims at simultaneously improving the long-term reward (increase combustion
efficiency and reduce pollutant emission) and controlling operational risks
(safety constraints satisfaction). In DeepThermal, we first learn a data-driven
combustion process simulator from the offline dataset. The RL agent of MORE is
then trained by combining real historical data as well as carefully filtered
and processed simulation data through a novel restrictive exploration scheme.
DeepThermal has been successfully deployed in four large coal-fired thermal
power plants in China. Real-world experiments show that DeepThermal effectively
improves the combustion efficiency of a TPGU. We also report and demonstrate
the superior performance of MORE by comparing with the state-of-the-art
algorithms on the standard offline RL benchmarks. To the best knowledge of the
authors, DeepThermal is the first AI application that has been used to solve
real-world complex mission-critical control tasks using the offline RL
approach.
- Abstract（参考訳）: 火力発電は世界の電力供給において主要な役割を担っている。
世界中で大量の石炭を消費し、深刻な大気汚染を引き起こす。
熱発電ユニット(TPGU)の燃焼効率を最適化することは、エネルギー産業において非常に困難かつ重要な課題である。
我々はtpgusの燃焼制御戦略を最適化する新しいデータ駆動型aiシステム、deepthermalを開発した。
MOREと呼ばれる新しいモデルベースのオフライン強化学習(RL)フレームワークは、TPGUの履歴操作データを活用して、純粋にオフライントレーニングを通じて非常に複雑な制約付きMarkov決定プロセス問題を解決する。
MOREは、長期的な報酬(燃焼効率の向上と汚染物質の排出削減)の同時改善と運用リスク(安全制約満足)のコントロールを目指しています。
DeepThermalでは、まずオフラインデータセットからデータ駆動の燃焼プロセスシミュレーターを学びます。
MOREのRLエージェントは、新しい制限探索スキームを介して、実際の履歴データと慎重にフィルタリングおよび処理されたシミュレーションデータを組み合わせて訓練されます。
DeepThermalは中国の4大石炭火力発電所に配備されている。
実世界の実験では、DeepThermalがTPGUの燃焼効率を効果的に改善することを示しています。
また,標準オフラインrlベンチマークにおける最先端アルゴリズムとの比較により,より優れた性能を示す。
著者の最高の知識のために、DeepThermalはオフラインRLアプローチを使用して現実世界の複雑なミッションクリティカルな制御タスクを解決するために使用された最初のAIアプリケーションです。
関連論文リスト
- D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。
提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
論文 参考訳（メタデータ） (2024-08-15T22:27:00Z) - Go Beyond Black-box Policies: Rethinking the Design of Learning Agent
for Interpretable and Verifiable HVAC Control [3.326392645107372]
熱力学モデルと過去のデータから抽出した決定木を用いてHVACコントローラを再設計することでボトルネックを克服する。
本手法は68.4%のエネルギーを節約し, 人間の快適度を14.8%向上させる。
論文 参考訳（メタデータ） (2024-02-29T22:42:23Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - Optimal Scheduling in IoT-Driven Smart Isolated Microgrids Based on Deep
Reinforcement Learning [10.924928763380624]
深部強化学習(DRL)によるモノ駆動マイクログリッド(MG)におけるディーゼル発電機(DG)のスケジューリング問題について検討する。
DRLエージェントは、過去の履歴再生およびロードデータから最適なポリシーを学習する。
目標は、需給バランスを確保するという前提で運用コストを削減することである。
論文 参考訳（メタデータ） (2023-04-28T23:52:50Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-17T02:12:30Z) - Efficient Learning of Voltage Control Strategies via Model-based Deep
Reinforcement Learning [9.936452412191326]
本稿では,電力系統の短期電圧安定性問題に対する緊急制御戦略を設計するためのモデルベース深部強化学習(DRL)手法を提案する。
近年, モデルフリーDRL方式の電力系統への適用が期待できるが, モデルフリー方式はサンプル効率の低下と訓練時間に悩まされている。
本稿では,Deep Neural Network(DNN)に基づく動的代理モデルを用いた新しいモデルベースDRLフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-06T02:50:53Z) - Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。
我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
論文 参考訳（メタデータ） (2022-08-12T17:13:25Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - Towards Optimal District Heating Temperature Control in China with Deep
Reinforcement Learning [0.0]
室内温度を予測するために,シミュレーションデータに基づくリカレントニューラルネットワークを構築した。
このモデルは、供給水温の最適制御のために、2つのDRLエージェントを専門家の指導なしに訓練するために使用される。
論文 参考訳（メタデータ） (2020-12-17T11:16:08Z) - Critic Regularized Regression [70.8487887738354]
批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。
CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
論文 参考訳（メタデータ） (2020-06-26T17:50:26Z) - Dynamic Energy Dispatch Based on Deep Reinforcement Learning in
IoT-Driven Smart Isolated Microgrids [8.623472323825556]
マイクログリッド(MG)は、大きなユーティリティグリッドとは独立して動作可能な小型でローカルな電力グリッドである。
本稿では、IoT駆動型スマートアイソレーションMGのための深部強化学習(DRL)に基づくエネルギーディスパッチに焦点を当てる。
2つの新しいDRLアルゴリズムが提案され、完全観測可能な状態情報とともに、かつ、不要なエネルギー供給ポリシーを導出する。
論文 参考訳（メタデータ） (2020-02-07T01:44:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。