論文の概要: Reinforcement Learning and Tree Search Methods for the Unit Commitment Problem

• arxiv url: http://arxiv.org/abs/2212.06001v1
• Date: Mon, 12 Dec 2022 16:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:41:43.827197
• Title: Reinforcement Learning and Tree Search Methods for the Unit Commitment Problem
• Title（参考訳）: ユニットコミット問題に対する強化学習と木探索手法
• Authors: Patrick de Mars
• Abstract要約: ユニットコミットメント問題は、需要を満たすために生成ユニットの運用スケジュールを決定する。 より厳格に不確実性を説明できるアプローチは、運用コストを大幅に削減する可能性がある。 モデルフリーRLとモデルベースプランニングを組み合わせた新しい手法であるガイドツリーサーチを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The unit commitment (UC) problem, which determines operating schedules of generation units to meet demand, is a fundamental task in power systems operation. Existing UC methods using mixed-integer programming are not well-suited to highly stochastic systems. Approaches which more rigorously account for uncertainty could yield large reductions in operating costs by reducing spinning reserve requirements; operating power stations at higher efficiencies; and integrating greater volumes of variable renewables. A promising approach to solving the UC problem is reinforcement learning (RL), a methodology for optimal decision-making which has been used to conquer long-standing grand challenges in artificial intelligence. This thesis explores the application of RL to the UC problem and addresses challenges including robustness under uncertainty; generalisability across multiple problem instances; and scaling to larger power systems than previously studied. To tackle these issues, we develop guided tree search, a novel methodology combining model-free RL and model-based planning. The UC problem is formalised as a Markov decision process and we develop an open-source environment based on real data from Great Britain's power system to train RL agents. In problems of up to 100 generators, guided tree search is shown to be competitive with deterministic UC methods, reducing operating costs by up to 1.4\%. An advantage of RL is that the framework can be easily extended to incorporate considerations important to power systems operators such as robustness to generator failure, wind curtailment or carbon prices. When generator outages are considered, guided tree search saves over 2\% in operating costs as compared with methods using conventional $N-x$ reserve criteria.
• Abstract（参考訳）: 需要を満たす世代単位の運用スケジュールを決定する単位コミットメント(UC)問題は、電力系統の運用における基本的な課題である。 混合整数プログラミングを用いた既存のUC法は確率的システムには適していない。 不確実性をより厳密に考慮するアプローチは、回転予備の必要量を減らし、高い効率で発電所を稼働させ、より多くの可変再生可能エネルギーを統合することで、運用コストを大幅に削減することができる。 uc問題を解決する有望なアプローチは強化学習(rl)であり、人工知能における長年にわたる大きな課題を克服するために用いられてきた最適な意思決定のための方法論である。 この論文は、UC問題へのRLの適用を探求し、不確実性の下での堅牢性、複数の問題インスタンスにわたる一般化可能性、以前研究されたよりも大規模な電力システムへのスケーリングといった課題に対処する。 これらの課題に対処するため,モデルフリーRLとモデルベース計画を組み合わせた新しい手法であるガイドツリー探索を開発した。 UC問題はマルコフ決定プロセスとして定式化され、イギリスの電力システムからRLエージェントを訓練するための実データに基づくオープンソース環境を開発する。 最大100個のジェネレータの問題では、誘導木探索は決定論的UC法と競合し、運用コストを最大1.4 %削減する。 rlの利点は、発電機の故障に対するロバスト性、風力の削減、炭素価格といった電力系統運用者にとって重要な考慮事項を取り入れるために、このフレームワークを簡単に拡張できることである。 ジェネレータの停止を考慮した場合、従来の$N-x$予約基準を用いた手法と比較して、誘導木探索は運用コストの2\%以上を節約する。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Graph Attention-based Deep Reinforcement Learning for solving the Chinese Postman Problem with Load-dependent costs [2.1212179660694104]
  本稿では、負荷依存コストで中国ポストマン問題(CPP-LC)に対処する新しいDRLフレームワークを提案する。 本稿では,CPP-LC問題に効果的に対応するためのエンコーダとデコーダからなるDRL,すなわちArcDRLに基づく自己回帰モデルを提案する。 また,CPP-LCのためのアルゴリズム(EA)に基づくバイオインスパイアされた新しいメタヒューリスティックソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-24T04:50:32Z)
• Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach [1.0080317855851213]
  本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。 探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T18:36:36Z)
• Stochastic Capacitated Arc Routing Problem [0.0]
  本稿では,CARPのアークの量をランダム化して得られたSCARP(Capacitated Arc Routing Problem)を扱う。 実生活問題においては、これらの量のランダム性のため、収集する量の変動に敏感な解を作成することが重要である。 その結果、解コストを大幅に増大させることなくロバストな解を得ることが可能であることが証明された。
  論文  参考訳（メタデータ） (2022-11-23T06:39:17Z)
• An Optimization Method-Assisted Ensemble Deep Reinforcement Learning Algorithm to Solve Unit Commitment Problems [3.303380427144773]
  ユニットコミットメントは、日々の電力市場における根本的な問題である。 UCの問題を効率的に解くことは重要である。 近年の人工知能の進歩は、UCの問題を解決するための強化学習の能力を実証している。
  論文  参考訳（メタデータ） (2022-06-09T03:36:18Z)
• Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
  エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。 本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
  論文  参考訳（メタデータ） (2021-09-17T08:55:48Z)
• Reducing the Deployment-Time Inference Control Costs of Deep Reinforcement Learning Agents via an Asymmetric Architecture [6.824961837445515]
  計算コストの高い政策と経済的な政策を切り替えることで、全体的な推論コストを削減できる非対称アーキテクチャを提案する。 その結果,提案手法はエージェント全体の性能を維持しつつ,推論コストを低減できることがわかった。
  論文  参考訳（メタデータ） (2021-05-30T09:14:39Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。