論文の概要: Cost-Aware Reinforcement Learning with Action Masking and Projection for Battery Energy Storage Dispatch under Suppressed-Spread Market Shifts
- arxiv url: http://arxiv.org/abs/2609.23590v1
- Date: Sun, 20 Sep 2026 12:12:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.864885
- Title: Cost-Aware Reinforcement Learning with Action Masking and Projection for Battery Energy Storage Dispatch under Suppressed-Spread Market Shifts
- Title（参考訳）: 減圧市場シフト下における行動マスキングによる費用対効果強化学習と蓄電池の投射
- Abstract要約: バッテリ・エナジー・ストレージ・システム (BESS) のディスパッチは運用可能性を維持しなければならないが、価格の下落はサイクリングに使えるマージンを減少させる。
本研究では,事前選択された物理行動マスクと緊急予測を因果的・予測的経済アドバイザリーから分離した政策最適化コントローラについて検討する。
- 参考スコア（独自算出の注目度）: 7.213400161126317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Battery energy storage system (BESS) dispatch must preserve operational feasibility while declining price spreads reduce the margin available to pay for cycling. We study a proximal policy optimization (PPO) controller whose pre-selection physical action mask and emergency projection are separated from a causal, forecast-informed economic advisory. All forecast-dependent methods receive the same causal 24-step forecast and grid-side settlement. Across five PPO seeds, advice-on net profit is 30.59 and 18.04 USD per 336-hour T1 and T2 window, versus 36.77 and 22.94 USD for proxy-cost MPC; PPO remains below this reference in both periods. Advice raises T2 profit from 16.45 to 18.04 USD while reducing throughput, but is immaterial in T1. On disjoint weekly blocks, PPO is stable under daily, weekly, and blended seasonal forecasts, weakens under persistence, and remains below proxy-cost MPC. Paired diagnostics localize changes to the observed 5-10 USD/MWh regime with mixed SoC-dependent effects. An M0-M6 ablation shows that mask removal sends thousands of infeasible requests to projection, while removing both physical layers exposes ramp violations. The evidence separates economic screening from feasibility enforcement without claiming formal safety, lifecycle-optimal aging, or RL dominance.
- Abstract（参考訳）: バッテリ・エナジー・ストレージ・システム (BESS) のディスパッチは運用可能性を維持しなければならないが、価格の下落はサイクリングに使えるマージンを減少させる。
本研究では,事前選択された物理行動マスクと緊急投射を因果的,予報的経済アドバイザリーから分離したPPOコントローラについて検討する。
全ての予測依存手法は、同じ因果24ステップの予測とグリッドサイドの解決を受ける。
5つのPPO種のうち、アドバイスオンネット利益は336時間当たり30.59ドルと18.04ドルであり、プロキシコストのMPCでは36.77ドルと22.94ドルである。
Advice は T2 の利益を 16.45 から 18.04 USD に引き上げ、スループットを低下させるが、T1 では非物質的である。
隔週ブロックでは、PPOは日毎、週毎、ブレンドされた季節予測の下で安定しており、持続性の下では弱まり、プロキシコストのMPCより低いままである。
ペアド診断は、観察された5-10 USD/MWh体制の変化をSoC依存性の混合効果で局所化する。
M0-M6アブレーションは、マスク除去が数千の不可能なリクエストをプロジェクションに送信し、両方の物理層を除去するとランプ違反が露呈することを示している。
この証拠は、経済のスクリーニングを、正式な安全、ライフサイクル・最適老化、RL支配を主張することなく、実現可能性の執行から切り離している。
関連論文リスト
- RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。
本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。
累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
論文 参考訳（メタデータ） (2026-06-23T02:11:04Z) - Safety-Contract Graph Multi-Agent Reinforcement Learning for Autonomous Network Security Response [0.0]
ACD$3$-GAT (Adaptive Constrained Counterfactual Decisioning with a Graph Attention Network encoder)として安全契約グラフMARLフレームワークを提案する。
CAGE Challenge 4では,エージェントがMTTR(Mean Time to Recover),偽陽性応答,ファイアウォール変更管理障害などの予算の下で作業を行う。
これは、報酬のみの学習が運用の規律を欠いていることを示すことで、CAGE Challenge 4の前の発見を補完する。
論文 参考訳（メタデータ） (2026-06-11T19:02:48Z) - Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。
実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。
12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
論文 参考訳（メタデータ） (2026-05-11T23:55:15Z) - ABM-UDE: Developing Surrogates for Epidemic Agent-Based Models via Scientific Machine Learning [1.949837893170278]
我々は、ユニバーサル微分方程式(UDEs)を用いて、大規模ABM軌道から直接学習する郡対応サロゲートを開発した。
我々は、介入駆動型体制シフトにおける神経増強型疫学ダイナミクスの同定を安定化するために、多重射撃と観測者に基づく予測エラー法(PEM)を適用した。
推論はコモディティCPU($sim$90日予測で20-35秒)で数秒で実行され、ラップトップ上で夜の「What-if」スイープを可能にする。
論文 参考訳（メタデータ） (2026-02-25T05:19:43Z) - Stablecoin Design with Adversarial-Robust Multi-Agent Systems via Trust-Weighted Signal Aggregation [5.151910664667141]
本稿では,リスク状態推定のための新しいストレスハーネスを組み込んだ,信頼度の高い平均変動フロンティアリザーブコントローラMVF-Composerを提案する。
私たちの重要な洞察は、マルチエージェントシミュレーションを敵のストレステスターとしてデプロイし、オンチェーンが現れる前に予備的な脆弱性を露呈することです。
ブラックスワンを注入した1200のランダム化シナリオで、MVF-Composerはピークペグの偏差を57%減らし、SASベースラインに対して平均回復時間を3.1倍減らした。
論文 参考訳（メタデータ） (2026-01-18T14:21:25Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳（メタデータ） (2026-01-15T18:58:33Z) - DeePM: Regime-Robust Deep Learning for Systematic Macro Portfolio Management [10.952188121974613]
DeePMは構造化されたディープラーニングマクロポートフォリオマネージャで、堅牢でリスク調整されたユーティリティを最大化するためにエンドツーエンドでトレーニングされた。
これは、Directed Delayメカニズムを通じて非同期フィルタリングの"タグ付き"問題を解決する。
マクロ経済グラフプリエント(Macroconomic Graph Prior)を介して低信号対雑音比と戦う。
論文 参考訳（メタデータ） (2026-01-09T17:47:32Z) - Monitoring State Transitions in Markovian Systems with Sampling Cost [65.4151496405543]
自然なアプローチは、予想される予測損失がクエリコスト以下で、クエリがなければいつ発生するかを予測する、欲張りのポリシーである。
最適(OPT)戦略は状態依存のしきい値ポリシである。
遷移確率が未知の場合、我々は、グレディポリシーの予測勾配降下(PSGD)に基づく学習変種を提案する。
論文 参考訳（メタデータ） (2025-10-25T15:07:37Z) - Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。
ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
論文 参考訳（メタデータ） (2025-07-09T14:29:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。