論文の概要: Distributional Reinforcement Learning-based Energy Arbitrage Strategies in Imbalance Settlement Mechanism

• arxiv url: http://arxiv.org/abs/2401.00015v1
• Date: Sat, 23 Dec 2023 15:38:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 12:26:43.120218
• Title: Distributional Reinforcement Learning-based Energy Arbitrage Strategies in Imbalance Settlement Mechanism
• Title（参考訳）: 不均衡解消機構における分布強化学習に基づくエネルギー仲裁戦略
• Authors: Seyed Soroush Karimi Madahi, Bert Claessens, Chris Develder
• Abstract要約: 再生可能エネルギー源の浸透の進展により、供給がより不確実になり、システムの不均衡が増大する。 分散強化学習(DRL)に基づく電池制御フレームワークを提案する。 提案するコントロール・フレームワークはリスクに敏感な視点を採り、BRPがリスク・プライオリティを調整することができる。
• 参考スコア（独自算出の注目度）: 6.520803851931361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Growth in the penetration of renewable energy sources makes supply more uncertain and leads to an increase in the system imbalance. This trend, together with the single imbalance pricing, opens an opportunity for balance responsible parties (BRPs) to perform energy arbitrage in the imbalance settlement mechanism. To this end, we propose a battery control framework based on distributional reinforcement learning (DRL). Our proposed control framework takes a risk-sensitive perspective, allowing BRPs to adjust their risk preferences: we aim to optimize a weighted sum of the arbitrage profit and a risk measure while constraining the daily number of cycles for the battery. We assess the performance of our proposed control framework using the Belgian imbalance prices of 2022 and compare two state-of-the-art RL methods, deep Q learning and soft actor-critic. Results reveal that the distributional soft actor-critic method can outperform other methods. Moreover, we note that our fully risk-averse agent appropriately learns to hedge against the risk related to the unknown imbalance price by (dis)charging the battery only when the agent is more certain about the price.
• Abstract（参考訳）: 再生可能エネルギー源の浸透の進展により、供給がより不確実になり、システムの不均衡が増大する。 この傾向は、単一不均衡価格とともに、不均衡解決機構においてエネルギー仲裁を行う責任ある当事者(BRP)のバランスを取る機会を開く。 そこで本研究では,分散強化学習(DRL)に基づく電池制御フレームワークを提案する。 提案するコントロールフレームワークはリスクに敏感な視点をとっており、brpがリスクの好みを調整できるようにしています。 2022年のベルギーの不均衡価格を用いて,提案手法の性能評価を行い,2つの最先端RL法,深層Q学習法,ソフトアクター批判法を比較した。 その結果,分布型ソフトアクター批判法は,他の手法よりも優れていることがわかった。 さらに,我々の完全リスク回避エージェントは,エージェントが価格についてより確実な場合にのみ,電池を充電することで,未知の不均衡価格に関連するリスクに対して適切にヘッジを学習する。

関連論文リスト

• Predicting and Publishing Accurate Imbalance Prices Using Monte Carlo Tree Search [4.950434218152639]
  本稿では,モンテカルロ木探索手法を提案する。 本稿では,ニューラルネットワーク予測器と強化学習エージェントによって制御される仮想電池群を用いて,システムダイナミクスをモデル化する。
  論文  参考訳（メタデータ） (2024-11-06T15:49:28Z)
• Control Policy Correction Framework for Reinforcement Learning-based Energy Arbitrage Strategies [4.950434218152639]
  そこで本稿では,電池の非均衡化機構において,安全なエネルギー仲裁戦略を実現するための新しいRLベースの制御フレームワークを提案する。 提案手法の性能評価には,2023年のベルギーの不均衡価格を用いる。
  論文  参考訳（メタデータ） (2024-04-29T16:03:21Z)
• Probabilistic forecasting of power system imbalance using neural network-based ensembles [4.573008040057806]
  可変選択ネットワーク(VSN)の適応であるC-VSNのアンサンブルを提案する。 毎分、我々のモデルは現在の2四半期のバランスと今後の2四半期のバランスを予測し、これらの予測の不確実さを推定する。 高い不均衡の状況では、我々のモデルは最先端の23.4%を上回ります。
  論文  参考訳（メタデータ） (2024-04-23T08:42:35Z)
• Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to Standard RL [48.1726560631463]
  我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。 標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。 我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• Deep Reinforcement Learning for Community Battery Scheduling under Uncertainties of Load, PV Generation, and Energy Prices [5.694872363688119]
  本稿では,不確実性が存在する場合に,コミュニティバッテリーシステムのスケジューリングを行うための深層強化学習(RL)戦略を提案する。 コミュニティバッテリーは、ローカルPVエネルギーの統合、ピーク負荷の低減、および調停のためのエネルギー価格変動の活用において、多用途の役割を担っている。
  論文  参考訳（メタデータ） (2023-12-04T13:45:17Z)
• Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
  他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。 提案手法は,指定された関心領域に属する最適構成の集合を同定する。 提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T07:29:44Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。