論文の概要: Towards Generalizable Reinforcement Learning for Trade Execution

• arxiv url: http://arxiv.org/abs/2307.11685v1
• Date: Fri, 12 May 2023 02:41:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 16:42:46.904404
• Title: Towards Generalizable Reinforcement Learning for Trade Execution
• Title（参考訳）: 貿易執行のための強化学習の一般化に向けて
• Authors: Chuheng Zhang, Yitong Duan, Xiaoyu Chen, Jianyu Chen, Jian Li, Li Zhao
• Abstract要約: 市場データからよりスマートなポリシーを学ぶために、貿易実行の最適化に強化学習(RL)が適用されている。 既存のRLメソッドの多くは、実際のデプロイを妨げている、かなりの過度なオーバーフィッティングを示す。 本稿では,事前知識の活用やエンドツーエンドの手法により,コンテキストのコンパクトな表現を学習し,過度に適合する問題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 25.199192981742744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimized trade execution is to sell (or buy) a given amount of assets in a given time with the lowest possible trading cost. Recently, reinforcement learning (RL) has been applied to optimized trade execution to learn smarter policies from market data. However, we find that many existing RL methods exhibit considerable overfitting which prevents them from real deployment. In this paper, we provide an extensive study on the overfitting problem in optimized trade execution. First, we model the optimized trade execution as offline RL with dynamic context (ORDC), where the context represents market variables that cannot be influenced by the trading policy and are collected in an offline manner. Under this framework, we derive the generalization bound and find that the overfitting issue is caused by large context space and limited context samples in the offline setting. Accordingly, we propose to learn compact representations for context to address the overfitting problem, either by leveraging prior knowledge or in an end-to-end manner. To evaluate our algorithms, we also implement a carefully designed simulator based on historical limit order book (LOB) data to provide a high-fidelity benchmark for different algorithms. Our experiments on the high-fidelity simulator demonstrate that our algorithms can effectively alleviate overfitting and achieve better performance.
• Abstract（参考訳）: 最適化された取引実行は、取引コストが最小の期間に一定量の資産を売買(または購入)することである。 近年、市場データからよりスマートな政策を学習するために、貿易実行の最適化に強化学習(RL)が適用されている。 しかし、既存のRLメソッドの多くは、実際のデプロイを妨げている、かなりの過度なオーバーフィッティングを示す。 本稿では,最適化された取引実行におけるオーバーフィッティング問題に関する詳細な研究を行う。 まず、最適化された取引実行を動的コンテキスト(ORDC)でオフラインRLとしてモデル化し、そのコンテキストは取引ポリシーの影響を受けない市場変数を表し、オフラインで収集する。 このフレームワークでは、一般化境界を導出し、オーバーフィッティング問題は、オフライン環境における大きなコンテキスト空間と限られたコンテキストサンプルによって引き起こされる。 そこで本稿では,事前知識の活用,あるいはエンドツーエンドの手法を用いて,オーバーフィット問題に対処するコンテキストのコンパクト表現を学習することを提案する。 また,提案アルゴリズムを評価するために,履歴リミットオーダーブック(LOB)データに基づくシミュレータを慎重に設計し,異なるアルゴリズムに対する高忠実度ベンチマークを提供する。 高忠実度シミュレータの実験により,アルゴリズムのオーバーフィッティングを効果的に軽減し,性能を向上できることが実証された。

関連論文リスト

• Limit Order Book Simulation and Trade Evaluation with $K$-Nearest-Neighbor Resampling [0.6144680854063939]
  我々は、リミットオーダーブック(LOB)市場をシミュレートするために、$K$-NNリサンプリングをどのように利用できるかを示す。 また,我々のアルゴリズムは,清算戦略の限界オーダーのサイズをキャリブレーションする方法も示す。
  論文  参考訳（メタデータ） (2024-09-10T13:50:53Z)
• SAIL: Self-Improving Efficient Online Alignment of Large Language Models [56.59644677997827]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための重要な方法である。 近年の文献では、オンラインRLHF法の設計に焦点が当てられているが、統一された概念的定式化はいまだに欠けている。 提案手法は,計算オーバーヘッドを最小限に抑えたオープンソースデータセットのアライメント性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-21T18:05:35Z)
• MOT: A Mixture of Actors Reinforcement Learning Method by Optimal Transport for Algorithmic Trading [6.305870529904885]
  マーケットの異なるパターンをモデル化するために,複数のアクターを非交叉表現学習で設計するMOTを提案する。 将来の市場データによる実験結果から,MOTはリスクのバランスを保ちながら優れた収益性を示すことが示された。
  論文  参考訳（メタデータ） (2024-06-03T01:42:52Z)
• Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
  オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。 私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。 これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
  論文  参考訳（メタデータ） (2023-02-06T17:30:22Z)
• A Modular Framework for Reinforcement Learning Optimal Execution [68.8204255655161]
  我々は、最適貿易実行問題への強化学習の適用のためのモジュラーフレームワークを開発する。 このフレームワークは、異なるシミュレーション設定の実装を容易にするために、柔軟性を念頭に設計されている。
  論文  参考訳（メタデータ） (2022-08-11T09:40:42Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• Interpretable performance analysis towards offline reinforcement learning: A dataset perspective [6.526790418943535]
  既存のオフラインRLアルゴリズムの2倍の分類法を提案する。 異なる種類のアルゴリズムのパフォーマンスと状態下でのアクションの分布との相関性を検討する。 我々はAtariドメイン上のベンチマークプラットフォームであるEasy Go(RLEG)を作成し、そのコストは0.3億ドル以上と見積もっている。
  論文  参考訳（メタデータ） (2021-05-12T07:17:06Z)
• Universal Trading for Order Execution with Oracle Policy Distillation [99.57416828489568]
  本稿では,不完全な市場状態と注文実行のための最適な行動シーケンスとのギャップを埋める,新たなユニバーサル取引ポリシー最適化フレームワークを提案する。 本研究の枠組みは,完全情報を持つ託宣教師による実践的最適実行に向けて,共通政策の学習を指導する上で有効であることを示す。
  論文  参考訳（メタデータ） (2021-01-28T05:52:18Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。