論文の概要: TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution

• arxiv url: http://arxiv.org/abs/2104.00620v1
• Date: Tue, 16 Feb 2021 19:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 04:31:32.694726
• Title: TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
• Title（参考訳）: trader: 貿易実行のための実践的深層強化学習
• Authors: Karush Suri, Xiao Qi Shi, Konstantinos Plataniotis, Yuri Lawryshyn
• Abstract要約: 本稿では,災害とサプライズ最小化の2つの実践的課題を解決するために,強化学習(trader)を用いた貿易実行を提案する。 トレーダーは階層的rlを利用して、2019年度のcovid-19株式市場の暴落で急落した価格変動からなる、高頻度のリアル市場体験の取引入札を実行している。 S&P500指数の35銘柄の大規模な調査で、TradeRは利益率を維持しつつ、急激な価格変動と破滅的な損失に対するロバスト性を示した。
• 参考スコア（独自算出の注目度）: 2.0454959820861727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in Reinforcement Learning (RL) span a wide variety of applications which motivate development in this area. While application tasks serve as suitable benchmarks for real world problems, RL is seldomly used in practical scenarios consisting of abrupt dynamics. This allows one to rethink the problem setup in light of practical challenges. We present Trade Execution using Reinforcement Learning (TradeR) which aims to address two such practical challenges of catastrophy and surprise minimization by formulating trading as a real-world hierarchical RL problem. Through this lens, TradeR makes use of hierarchical RL to execute trade bids on high frequency real market experiences comprising of abrupt price variations during the 2019 fiscal year COVID19 stock market crash. The framework utilizes an energy-based scheme in conjunction with surprise value function for estimating and minimizing surprise. In a large-scale study of 35 stock symbols from the S&P500 index, TradeR demonstrates robustness to abrupt price changes and catastrophic losses while maintaining profitable outcomes. We hope that our work serves as a motivating example for application of RL to practical problems.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)の進歩は、この分野の開発を動機づける幅広いアプリケーションにまたがる。 アプリケーションタスクは実世界の問題に適したベンチマークとして機能するが、RLは急激なダイナミクスからなる実践的なシナリオではほとんど使われない。 これにより、実践的な課題を考慮して、問題設定を再考することができる。 本稿では,現実世界の階層的rl問題として取引を定式化することによる,カタストロフィとサプライズ最小化の2つの実践的課題に対処するために,強化学習(trader)を用いた取引実行を提案する。 このレンズを通じてTradeRは、2019年度の新型コロナウイルス(COVID-19)株式市場の暴落に伴う急激な価格変動を含む、高頻度の不動産市場での取引入札を実施するために階層的なRLを利用している。 このフレームワークはエネルギーベースのスキームとサプライズ値関数を併用してサプライズを推定し最小化する。 S&P500指数の35銘柄の大規模な調査で、TradeRは利益率を維持しつつ、急激な価格変動と破滅的な損失に対するロバスト性を示した。 我々の研究が、実践的な問題へのRLの適用の動機となることを願っています。

関連論文リスト

• Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution [0.9553307596675155]
  本稿では,階層強化学習フレームワークを用いた新たなトレーディング戦略である階層強化トレーサ(HRT)を紹介する。 HRTは、戦略的株式選択のためのPPO(Proximal Policy Optimization)ベースのHigh-Level Controller(HLC)をDDPG(Deep Deterministic Policy Gradient)ベースのLow-Level Controller(LLC)と統合する。
  論文  参考訳（メタデータ） (2024-10-19T01:29:38Z)
• On the Limitations of Markovian Rewards to Express Multi-Objective, Risk-Sensitive, and Modal Tasks [72.08225446179783]
  強化学習(RL)におけるスカラー・マルコフ報酬関数の表現性について検討する。 本稿では、多目的RL、リスク感受性RL、モーダルRLの3つのクラスについて考察する。 これらの3つのクラスにおいて、スカラー、マルコフの報酬は、ほとんどのインスタンスを表現できない。
  論文  参考訳（メタデータ） (2024-01-26T12:18:29Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• Using Experience Classification for Training Non-Markovian Tasks [11.267797018727402]
  非マルコフ的タスクは、自律運転、金融取引、医療診断などの実践的な応用に頻繁に適用される。 時間論理学で表される非マルコフ報酬を実現するための新しいRL手法を提案する。
  論文  参考訳（メタデータ） (2023-10-18T03:00:59Z)
• Harnessing Deep Q-Learning for Enhanced Statistical Arbitrage in High-Frequency Trading: A Comprehensive Exploration [0.0]
  強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話することで学習する機械学習の分野である。 本稿では,HFT(High-Frequency Trading)シナリオに適した統計仲裁手法におけるRLの統合について述べる。 広範なシミュレーションやバックテストを通じて、RLはトレーディング戦略の適応性を高めるだけでなく、収益性指標の改善やリスク調整されたリターンの期待も示している。
  論文  参考訳（メタデータ） (2023-09-13T06:15:40Z)
• Towards Generalizable Reinforcement Learning for Trade Execution [25.199192981742744]
  市場データからよりスマートなポリシーを学ぶために、貿易実行の最適化に強化学習(RL)が適用されている。 既存のRLメソッドの多くは、実際のデプロイを妨げている、かなりの過度なオーバーフィッティングを示す。 本稿では,事前知識の活用やエンドツーエンドの手法により,コンテキストのコンパクトな表現を学習し,過度に適合する問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-05-12T02:41:11Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
  本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。 模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
  論文  参考訳（メタデータ） (2021-12-08T14:55:21Z)
• Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review [0.0]
  深層強化学習エージェントはChessやGoといった多くのゲームで想定される力であることが証明された。 本稿では、ファイナンスにおけるAIのサブドメインにおける深層強化学習の進歩を概観する。 我々は、株取引におけるDRLは、強い前提の下でプロのトレーダーと競合する可能性が大きいと結論付けている。
  論文  参考訳（メタデータ） (2021-05-31T22:26:43Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。