Fugu-MT 論文翻訳(概要): Domain-adapted Learning and Imitation: DRL for Power Arbitrage

論文の概要: Domain-adapted Learning and Imitation: DRL for Power Arbitrage

arxiv url: http://arxiv.org/abs/2301.08360v3
Date: Sun, 10 Sep 2023 19:18:30 GMT
ステータス: 処理完了
システム内更新日: 2023-09-12 22:30:19.047318
Title: Domain-adapted Learning and Imitation: DRL for Power Arbitrage
Title（参考訳）: ドメイン適応学習と模倣: DRL for Power Arbitrage
Authors: Yuanrong Wang, Vignesh Raja Swaminathan, Nikita P. Granger, Carlos Ros Perez, Christian Michler
Abstract要約: 本稿では,この二段階シミュレーションと欧州電力仲裁取引の最適化のための協調的二重エージェント強化学習手法を提案する。電力トレーダーの取引行動を模倣してドメイン固有の知識を取り入れた2つの新しい実装を導入する。本研究は,ドメインの知識を一般学習問題に活用することにより,性能を大幅に向上できることを実証する。
参考スコア（独自算出の注目度）: 1.6874375111244329
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, we discuss the Dutch power market, which is comprised of a day-ahead market and an intraday balancing market that operates like an auction. Due to fluctuations in power supply and demand, there is often an imbalance that leads to different prices in the two markets, providing an opportunity for arbitrage. To address this issue, we restructure the problem and propose a collaborative dual-agent reinforcement learning approach for this bi-level simulation and optimization of European power arbitrage trading. We also introduce two new implementations designed to incorporate domain-specific knowledge by imitating the trading behaviours of power traders. By utilizing reward engineering to imitate domain expertise, we are able to reform the reward system for the RL agent, which improves convergence during training and enhances overall performance. Additionally, the tranching of orders increases bidding success rates and significantly boosts profit and loss (P&L). Our study demonstrates that by leveraging domain expertise in a general learning problem, the performance can be improved substantially, and the final integrated approach leads to a three-fold improvement in cumulative P&L compared to the original agent. Furthermore, our methodology outperforms the highest benchmark policy by around 50% while maintaining efficient computational performance.
Abstract（参考訳）: 本稿では,日頭市場と,オークションのように運営される日内バランス市場からなるオランダの電力市場について論じる。電力供給と需要の変動のため、2つの市場で異なる価格に繋がる不均衡がしばしばあり、仲裁の機会を提供している。この問題に対処するため,我々はこの問題を再構成し,欧州電力仲裁取引の2段階シミュレーションと最適化のための協調的二重エージェント強化学習手法を提案する。また、電力トレーダーの取引行動を模倣してドメイン固有の知識を取り入れた2つの新しい実装も導入する。ドメインの専門知識を模倣するために報酬工学を活用することにより、トレーニング中の収束を改善し、全体的なパフォーマンスを向上させるRLエージェントの報酬体系を再構築することができる。さらに、注文の受け渡しは、入札成功率を高め、利益と損失(P&L)を大幅に増加させる。本研究は,一般学習問題におけるドメイン専門知識の活用により,性能が大幅に向上し,最終的な統合アプローチは,従来のエージェントと比較して累積p&lが3倍向上することを示す。さらに,提案手法は,効率的な計算性能を維持しつつ,最高のベンチマークポリシを約50%上回っている。

関連論文リスト

Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution [0.9553307596675155]
本稿では,階層強化学習フレームワークを用いた新たなトレーディング戦略である階層強化トレーサ(HRT)を紹介する。 HRTは、戦略的株式選択のためのPPO(Proximal Policy Optimization)ベースのHigh-Level Controller(HLC)をDDPG(Deep Deterministic Policy Gradient)ベースのLow-Level Controller(LLC)と統合する。
論文参考訳（メタデータ） (2024-10-19T01:29:38Z)
Temporal-Aware Deep Reinforcement Learning for Energy Storage Bidding in Energy and Contingency Reserve Markets [13.03742132147551]
我々は、深層強化学習(DRL)を利用した新しいBESS共同入札戦略を開発し、そのスポットと同時周波数制御アシラリーサービス市場を入札する。従来の「ブラックボックス」DRLモデルとは異なり、我々のアプローチはより解釈可能であり、BESSの時間入札行動に関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2024-02-29T12:41:54Z)
An Auction-based Marketplace for Model Trading in Federated Learning [54.79736037670377]
フェデレートラーニング(FL)は、局所的な分散データを用いたトレーニングモデルにおいて、その効果がますます認識されている。 FLはモデルのマーケットプレースであり、顧客は買い手と売り手の両方として振る舞う。本稿では,性能向上に基づく適切な価格設定を実現するため,オークションベースのソリューションを提案する。
論文参考訳（メタデータ） (2024-02-02T07:25:53Z)
IMM: An Imitative Reinforcement Learning Approach with Predictive Representation Learning for Automatic Market Making [33.23156884634365]
強化学習技術は量的取引において顕著な成功を収めた。既存のRLベースのマーケットメイキング手法のほとんどは、単価レベルの戦略の最適化に重点を置いている。 Imitative Market Maker (IMM) は、準最適信号に基づく専門家の知識と直接的な政策相互作用の両方を活用する新しいRLフレームワークである。
論文参考訳（メタデータ） (2023-08-17T11:04:09Z)
Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T12:43:47Z)
Imitate then Transcend: Multi-Agent Optimal Execution with Dual-Window Denoise PPO [13.05016423016994]
再現性のある強化学習(RL)を用いた最適実行と配置問題の解法を提案する。提案したフレームワークからトレーニングされたRLエージェントは、実行コストにおいて、業界ベンチマークのTWAP(Time-weighted average price)戦略を一貫して上回った。
論文参考訳（メタデータ） (2022-06-21T21:25:30Z)
Applications of Reinforcement Learning in Deregulated Power Market: A Comprehensive Review [7.2090237123481575]
強化学習(Reinforcement Learning)は、従来の最適化ツールと比較して利点のある、新興の機械学習技術である。本稿では、入札とディスパッチ戦略最適化を含む電力市場の非規制運用におけるRLの適用についてレビューする。入札やディスパッチ問題に展開する大きな可能性を持つRL手法を推奨し,議論する。
論文参考訳（メタデータ） (2022-05-07T08:02:25Z)
Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
論文参考訳（メタデータ） (2021-12-08T14:55:21Z)
Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文参考訳（メタデータ） (2021-03-22T14:18:39Z)
Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
論文参考訳（メタデータ） (2020-10-23T06:29:09Z)
A Deep Reinforcement Learning Framework for Continuous Intraday Market Bidding [69.37299910149981]
再生可能エネルギー源統合の成功の鍵となる要素は、エネルギー貯蔵の利用である。欧州の継続的な日内市場におけるエネルギー貯蔵の戦略的関与をモデル化するための新しい枠組みを提案する。本アルゴリズムの分散バージョンは, サンプル効率のため, この問題を解決するために選択される。その結果, エージェントは, ベンチマーク戦略よりも平均的収益率の高い政策に収束することが示唆された。
論文参考訳（メタデータ） (2020-04-13T13:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。