論文の概要: State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading
- arxiv url: http://arxiv.org/abs/2606.27032v1
- Date: Thu, 25 Jun 2026 13:39:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.29749
- Title: State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading
- Title（参考訳）: 深層強化学習における状態表現の課題:エネルギー取引への応用
- Abstract要約: 本研究では, 揚水型調停環境において, 強化学習エージェントに与えられる状態表現について検討する。
私たちは、絶対価格/カレンダ機能、現在の価格と最近の市場履歴、予測機能、そしてすべての組み合わせを比較します。
状態表現は、ストレージトレーディングRLにおけるマイナーな前処理の選択ではなく、ポリシー設計の中心的な部分であることがわかった。
- 参考スコア（独自算出の注目度）: 2.0917558718145925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy trading decisions depend not only on current market prices, but also on expected future market conditions, and operational constraints. This makes the state representation given to a reinforcement learning agent an important design choice. We study this in HydroDam, a pumped-storage arbitrage environment, using a fixed Double DQN agent. The environment, action space, reward function, network, and training protocol are kept fixed; only the market features are changed. We compare absolute price/calendar features, relative features that compare current prices with recent market history, forecast features, and all combinations of these three feature families. Policies are trained and selected using 2007--2011 Belgian day-ahead prices and evaluated on two test settings: a later same-market test set from 2012--2025 and 39 other ENTSO-E market zones. Absolute features only reaches 28.8% on the test set and a median 5.7% across zones. Relative-only and forecast-only states also stay below a rolling price-score heuristic in the cross-zone median. Combining feature families is much stronger: absolute + relative reaches 49.9% on the test set and a 39.8% cross-zone median, while absolute + relative + forecast reaches 55.6% and 47.5%. These results suggest that state representation is not a minor preprocessing choice in storage-trading RL, but a central part of the policy design: robust transfer requires combining price scale, recent relative price context, and short-horizon forecast information, rather than relying on any single feature family.
- Abstract（参考訳）: エネルギー取引の決定は、現在の市場価格だけでなく、将来の市場条件や運用上の制約にも依存する。
これにより、強化学習エージェントに与えられる状態表現が重要な設計選択となる。
本研究では, 固定二重DQNエージェントを用いて, 揚水・貯蔵調停環境であるHydroDamでこれを検討した。
環境、アクションスペース、報酬関数、ネットワーク、トレーニングプロトコルは、固定され、市場の特徴のみが変更される。
我々は、絶対価格/カレンダ機能、現在の価格と最近の市場履歴を比較した相対的特徴、予測機能、これら3つの機能ファミリーのすべての組み合わせを比較します。
政策は2007-2011年のベルギーの日頭価格を用いて訓練され、2012-2025年と他の39のENTSO-E市場ゾーンの2つのテスト設定で評価される。
絶対的な特徴はテストセットで28.8%、ゾーン全体では中央値の5.7%にしか達しない。
相対のみの州と予報のみの州も、クロスゾーン中央値で価格高騰のヒューリスティックを下回っている。
絶対値+相対値が49.9%、中間値39.8%、絶対値+相対値+予測値55.6%と47.5%である。
これらの結果は、状態表現は、ストレージトレーディングRLにおけるマイナーな前処理の選択ではなく、ポリシー設計の中心的な部分であることを示している: ロバスト転送には、単一の特徴ファミリに頼るのではなく、価格スケール、最近の相対価格コンテキスト、短水平予測情報を組み合わせる必要がある。
関連論文リスト
- Electricity price forecasting across Norway's five bidding zones in the post-crisis era [2.679345223424902]
ノルウェーの電力市場は水力発電に大きく支配されている。
2021-2022年のエネルギー危機と大陸ヨーロッパとの緊密な統合は、価格形成を根本的に変えた。
ノルウェーの5つの北プール帯の電力価格予測を総合的に評価する。
論文 参考訳（メタデータ） (2026-04-29T13:02:02Z) - Price as Focal Point: Prediction Markets,Conditional Reflexivity, and the Politics of Common Knowledge [0.0]
市場信号の社会的力は、その持続性、反応するトレーダーの幅、およびクロスプラットフォームのコンセンサスに依存しないことを示す。
本稿では,SCI(Signal Credibility Index)を,価格変動による行動トラクションの予測のためのマイクロ構造基準として導入する。
論文 参考訳（メタデータ） (2026-04-27T08:02:34Z) - PolyBench: Benchmarking LLM Forecasting and Trading Capabilities on Live Prediction Market Data [3.7753883100108525]
textbfPolyBenchは、生の市場信号から現実世界のイベントを予測するためのベンチマークである。
ポリベンチを用いて、7つの最先端の大規模言語モデルを評価する。
本フレームワークは, 方向性の精度, 信頼性-重み付きリターン(CWR), 年次パーセンテージ収率(APY), シャープ比を評価する。
論文 参考訳（メタデータ） (2026-04-03T06:25:21Z) - Prediction Arena: Benchmarking AI Models on Real-World Prediction Markets [0.0]
Prediction Arenaは、AIモデルの予測精度と意思決定を評価するためのベンチマークである。
ライブトレーディングにおける6つのフロンティアモデル(Cohort 1, full period)と、ペーパートレーディングにおける4つの次世代モデル(Cohort 2, 3-day pre)の2つのコホートを追跡。
我々の分析では、初期予測精度と正しい予測を活用できる能力が主な要因である、明確な性能階層を同定する。
論文 参考訳（メタデータ） (2026-03-28T06:13:17Z) - Forecasting Future Language: Context Design for Mention Markets [81.25011140991566]
我々は、参照市場における正確な予測を支援するために、入力コンテキストをどのように設計するかを検討する。
1 より豊かなコンテキストは予測性能を継続的に改善し、(2)市場条件付きプロンプト(MCP)は事前の市場確率を扱い、テキストによる証拠を用いてそれを更新し、より良いキャリブレーションの予測を得る、(3)市場確率とMCP(MixMCP)の混合が市場ベースラインを上回っている、という3つの洞察を得た。
論文 参考訳（メタデータ） (2026-02-04T12:43:31Z) - Hybrid Quantum-Classical Ensemble Learning for S\&P 500 Directional Prediction [0.2538209532048867]
本稿では,量子感情分析,決定変換アーキテクチャ,戦略的モデル選択を組み合わせたハイブリッドアンサンブルフレームワークを提案する。
S&P500予測の方向精度は60.14%で、個々のモデルよりも3.10%向上している。
論文 参考訳（メタデータ） (2025-12-06T22:22:09Z) - Monitoring State Transitions in Markovian Systems with Sampling Cost [65.4151496405543]
自然なアプローチは、予想される予測損失がクエリコスト以下で、クエリがなければいつ発生するかを予測する、欲張りのポリシーである。
最適(OPT)戦略は状態依存のしきい値ポリシである。
遷移確率が未知の場合、我々は、グレディポリシーの予測勾配降下(PSGD)に基づく学習変種を提案する。
論文 参考訳（メタデータ） (2025-10-25T15:07:37Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳（メタデータ） (2023-11-03T21:19:59Z) - Multivariate Probabilistic Forecasting of Intraday Electricity Prices
using Normalizing Flows [62.997667081978825]
ドイツでは、日内電気価格は通常、EPEXスポット市場の1日当たりの価格に異なる時間帯で変動する。
本研究は,日頭契約の日内価格差をモデル化する確率論的モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-05-27T08:38:20Z) - Learning Strategies in Decentralized Matching Markets under Uncertain
Preferences [91.3755431537592]
エージェントの選好が不明な場合,共有資源の不足の設定における意思決定の問題について検討する。
我々のアプローチは、再生されたカーネルヒルベルト空間における好みの表現に基づいている。
エージェントの期待した利益を最大化する最適な戦略を導出する。
論文 参考訳（メタデータ） (2020-10-29T03:08:22Z) - A Deep Reinforcement Learning Framework for Continuous Intraday Market
Bidding [69.37299910149981]
再生可能エネルギー源統合の成功の鍵となる要素は、エネルギー貯蔵の利用である。
欧州の継続的な日内市場におけるエネルギー貯蔵の戦略的関与をモデル化するための新しい枠組みを提案する。
本アルゴリズムの分散バージョンは, サンプル効率のため, この問題を解決するために選択される。
その結果, エージェントは, ベンチマーク戦略よりも平均的収益率の高い政策に収束することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T13:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。