論文の概要: Distributional Reinforcement Learning-based Energy Arbitrage Strategies in Imbalance Settlement Mechanism

• arxiv url: http://arxiv.org/abs/2401.00015v1
• Date: Sat, 23 Dec 2023 15:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-15 12:26:43.120218
• Title: Distributional Reinforcement Learning-based Energy Arbitrage Strategies in Imbalance Settlement Mechanism
• Title（参考訳）: 不均衡解消機構における分布強化学習に基づくエネルギー仲裁戦略
• Authors: Seyed Soroush Karimi Madahi, Bert Claessens, Chris Develder
• Abstract要約: 再生可能エネルギー源の浸透の進展により、供給がより不確実になり、システムの不均衡が増大する。 分散強化学習(DRL)に基づく電池制御フレームワークを提案する。 提案するコントロール・フレームワークはリスクに敏感な視点を採り、BRPがリスク・プライオリティを調整することができる。
• 参考スコア（独自算出の注目度）: 6.520803851931361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Growth in the penetration of renewable energy sources makes supply more uncertain and leads to an increase in the system imbalance. This trend, together with the single imbalance pricing, opens an opportunity for balance responsible parties (BRPs) to perform energy arbitrage in the imbalance settlement mechanism. To this end, we propose a battery control framework based on distributional reinforcement learning (DRL). Our proposed control framework takes a risk-sensitive perspective, allowing BRPs to adjust their risk preferences: we aim to optimize a weighted sum of the arbitrage profit and a risk measure while constraining the daily number of cycles for the battery. We assess the performance of our proposed control framework using the Belgian imbalance prices of 2022 and compare two state-of-the-art RL methods, deep Q learning and soft actor-critic. Results reveal that the distributional soft actor-critic method can outperform other methods. Moreover, we note that our fully risk-averse agent appropriately learns to hedge against the risk related to the unknown imbalance price by (dis)charging the battery only when the agent is more certain about the price.
• Abstract（参考訳）: 再生可能エネルギー源の浸透の進展により、供給がより不確実になり、システムの不均衡が増大する。 この傾向は、単一不均衡価格とともに、不均衡解決機構においてエネルギー仲裁を行う責任ある当事者(BRP)のバランスを取る機会を開く。 そこで本研究では,分散強化学習(DRL)に基づく電池制御フレームワークを提案する。 提案するコントロールフレームワークはリスクに敏感な視点をとっており、brpがリスクの好みを調整できるようにしています。 2022年のベルギーの不均衡価格を用いて,提案手法の性能評価を行い,2つの最先端RL法,深層Q学習法,ソフトアクター批判法を比較した。 その結果,分布型ソフトアクター批判法は,他の手法よりも優れていることがわかった。 さらに,我々の完全リスク回避エージェントは,エージェントが価格についてより確実な場合にのみ,電池を充電することで,未知の不均衡価格に関連するリスクに対して適切にヘッジを学習する。

関連論文リスト

• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
  大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。 我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。 我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
  論文  参考訳（メタデータ） (2026-02-03T18:17:22Z)
• Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets [57.179679246370114]
  金融分野では、強化学習(RL)エージェントは、価格に影響を与えない歴史的データに基づいて訓練されることが多い。 展開中、これらのエージェントは、自身の取引が資産価格を変えることができるライブマーケットで取引する。 従来のロバストなRLアプローチは、不確実性の集合に対して最悪のパフォーマンスを最適化することで、このモデルの誤特定に対処する。 楕円型不確実性集合の新たなクラスを開発し,効率的かつ堅牢な政策評価を可能にする。
  論文  参考訳（メタデータ） (2025-10-22T18:22:25Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Model Predictive Control-Guided Reinforcement Learning for Implicit Balancing [2.6288470934623636]
  ヨーロッパでは、利益を追求する責任ある当事者は、日々の指名からリアルタイムで逸脱し、送信システムオペレーターを支援することができる。 本稿では, MPC と RL の相補的強度を組み合わせた MPC 誘導 RL 法を提案する。 2023年のベルギーのバランシングデータを用いて,暗黙的バランシングバッテリ制御問題に対して,提案手法の性能評価を行った。
  論文  参考訳（メタデータ） (2025-10-06T14:52:27Z)
• No-Regret Learning Under Adversarial Resource Constraints: A Spending Plan Is All You Need! [56.80767500991973]
  アクション選択の前に報酬とコストが観測される$(i)$オンラインリソース割当と、アクション選択後、完全なフィードバックや盗賊フィードバックの下で、リソース制限付きオンライン学習である$(ii)$オンラインリソース割当に焦点を当てた。 報酬とコスト分布が時間とともに任意に変化する場合、これらの設定でサブ線形後悔を達成することは不可能であることが知られている。 我々は、支出計画に従う基準線に対する半線形後悔を実現する一般的な(基本的)二重的手法を設計し、また、支出計画が予算のバランスの取れた配分を保証すると、アルゴリズムの性能が向上する。
  論文  参考訳（メタデータ） (2025-06-16T08:42:31Z)
• Dynamic Reinsurance Treaty Bidding via Multi-Agent Reinforcement Learning [0.0]
  本稿では,再保証条約入札のための新しいマルチエージェント強化学習(MARL)フレームワークを開発する。 MARLエージェントは、最大15%高い引受利益、20%低い尾リスク、25%以上のシャープ比の改善を達成する。 これらの結果は、MARLがより透明性があり、適応的で、リスクに敏感なリシュアランス市場への道を開くことを示唆している。
  論文  参考訳（メタデータ） (2025-06-16T05:43:22Z)
• Adaptive Insurance Reserving with CVaR-Constrained Reinforcement Learning under Macroeconomic Regimes [0.0]
  本稿では、テールリスク感度、マクロ経済体制モデリング、規制コンプライアンスを統合した保険保留のための強化学習(RL)フレームワークを提案する。 このフレームワークは、固定ショックストレステストとシステマティック・ストラテライズド・アナリティクスに対応しており、不確実性の下での維持に原則的で原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2025-04-13T01:43:25Z)
• Predicting and Publishing Accurate Imbalance Prices Using Monte Carlo Tree Search [4.950434218152639]
  本稿では,モンテカルロ木探索手法を提案する。 本稿では,ニューラルネットワーク予測器と強化学習エージェントによって制御される仮想電池群を用いて,システムダイナミクスをモデル化する。
  論文  参考訳（メタデータ） (2024-11-06T15:49:28Z)
• Control Policy Correction Framework for Reinforcement Learning-based Energy Arbitrage Strategies [4.950434218152639]
  そこで本稿では,電池の非均衡化機構において,安全なエネルギー仲裁戦略を実現するための新しいRLベースの制御フレームワークを提案する。 提案手法の性能評価には,2023年のベルギーの不均衡価格を用いる。
  論文  参考訳（メタデータ） (2024-04-29T16:03:21Z)
• Probabilistic forecasting of power system imbalance using neural network-based ensembles [4.573008040057806]
  可変選択ネットワーク(VSN)の適応であるC-VSNのアンサンブルを提案する。 毎分、我々のモデルは現在の2四半期のバランスと今後の2四半期のバランスを予測し、これらの予測の不確実さを推定する。 高い不均衡の状況では、我々のモデルは最先端の23.4%を上回ります。
  論文  参考訳（メタデータ） (2024-04-23T08:42:35Z)
• Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to Standard RL [48.1726560631463]
  我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。 標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。 我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
  Weight Averaged Reward Models (WARM) を提案する。 最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2024-01-22T18:27:08Z)
• Deep Reinforcement Learning for Community Battery Scheduling under Uncertainties of Load, PV Generation, and Energy Prices [5.694872363688119]
  本稿では,不確実性が存在する場合に,コミュニティバッテリーシステムのスケジューリングを行うための深層強化学習(RL)戦略を提案する。 コミュニティバッテリーは、ローカルPVエネルギーの統合、ピーク負荷の低減、および調停のためのエネルギー価格変動の活用において、多用途の役割を担っている。
  論文  参考訳（メタデータ） (2023-12-04T13:45:17Z)
• Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
  他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。 提案手法は,指定された関心領域に属する最適構成の集合を同定する。 提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T07:29:44Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。