論文の概要: Model-based gym environments for limit order book trading
- arxiv url: http://arxiv.org/abs/2209.07823v1
- Date: Fri, 16 Sep 2022 09:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 17:35:48.940856
- Title: Model-based gym environments for limit order book trading
- Title(参考訳): リミットオーダーブックトレーディングのためのモデルベースジム環境
- Authors: Joseph Jerome, Leandro Sanchez-Betancourt, Rahul Savani, Martin
Herdegen
- Abstract要約: 本稿では、強化学習(RL)エージェントをトレーニングするためのジム環境のスイートを提供するPythonモジュールmbtgymを紹介する。
数理ファイナンスにおけるモデルベースリミットオーダーブック問題の解決にRLを用いるという課題を動機付けている。
- 参考スコア(独自算出の注目度): 1.8899300124593648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Within the mathematical finance literature there is a rich catalogue of
mathematical models for studying algorithmic trading problems -- such as
market-making and optimal execution -- in limit order books. This paper
introduces \mbtgym, a Python module that provides a suite of gym environments
for training reinforcement learning (RL) agents to solve such model-based
trading problems. The module is set up in an extensible way to allow the
combination of different aspects of different models. It supports highly
efficient implementations of vectorized environments to allow faster training
of RL agents. In this paper, we motivate the challenge of using RL to solve
such model-based limit order book problems in mathematical finance, we explain
the design of our gym environment, and then demonstrate its use in solving
standard and non-standard problems from the literature. Finally, we lay out a
roadmap for further development of our module, which we provide as an open
source repository on GitHub so that it can serve as a focal point for RL
research in model-based algorithmic trading.
- Abstract(参考訳): 数理ファイナンス文学には、リミット・オーダー・ブックに、市場作りや最適な実行といったアルゴリズム的取引問題を研究するための数学モデルの豊富なカタログがある。
本稿では,強化学習(rl)エージェントをトレーニングするためのジム環境のスイートを提供するpythonモジュールである \mbtgymについて紹介する。
モジュールは、異なるモデルの異なる側面の組み合わせを可能にする拡張可能な方法で設定される。
ベクトル化環境の高効率実装をサポートし、RLエージェントの高速なトレーニングを可能にする。
本稿では,RLを用いて数理金融におけるモデルに基づくリミットオーダーブック問題を解くことの課題を動機付け,体育館環境の設計を説明し,文献から標準および非標準問題の解法を実証する。
最後に、私たちは、モデルベースのアルゴリズム取引におけるrl研究の焦点となるように、githubのオープンソースリポジトリとして提供する、モジュールのさらなる開発のためのロードマップを作成しました。
関連論文リスト
- Improving Large Language Models via Fine-grained Reinforcement Learning
with Minimum Editing Constraint [109.77895659878442]
強化学習(RL)は、大規模言語モデルの訓練に広く用いられている。
生成モデルを報酬モデルとして組み込んだ新しいRL法 textbfRLMEC を提案する。
生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
論文 参考訳(メタデータ) (2024-01-11T17:58:41Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳(メタデータ) (2022-11-03T17:32:34Z) - Recent Advances in Reinforcement Learning in Finance [3.0079490585515343]
データ量の増加による金融業界の急激な変化は、データ処理やデータ分析に関する技術に革命をもたらした。
強化学習(RL)による新たな発展は、大量の財務データをフル活用することができる。
論文 参考訳(メタデータ) (2021-12-08T19:55:26Z) - FinRL: Deep Reinforcement Learning Framework to Automate Trading in
Quantitative Finance [22.808509136431645]
深層強化学習(DRL)は、量的ファイナンスにおいて競争力を持つと想定されている。
本稿では,オープンソースのフレームワーク textitFinRL を,量的トレーダーが学習曲線の急勾配を克服するのに役立つための完全なパイプラインとして提示する。
論文 参考訳(メタデータ) (2021-11-07T00:34:32Z) - Reinforcement Learning for Mean Field Games, with Applications to
Economics [0.0]
平均場ゲーム(MFG)および平均場制御問題(平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題)は、エージェントの連続体を持つゲームにおいてナッシュ平衡または社会的最適性を研究するためのフレームワークである。
本稿では,MFGとMFCのためのRLを用いた2つの時間スケールアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-25T16:45:04Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳(メタデータ) (2021-03-26T11:32:27Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。
具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。
提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文 参考訳(メタデータ) (2021-02-07T17:56:50Z) - OR-Gym: A Reinforcement Learning Library for Operations Research
Problems [0.0]
我々は,運用研究問題に対処する強化学習アルゴリズムを開発するためのオープンソースライブラリOR-Gymを紹介する。
本稿では,knapsackの強化学習,多次元ビンパッキング,複数エケロン供給チェーン,多周期アセットアロケーションモデル問題に適用する。
論文 参考訳(メタデータ) (2020-08-14T12:21:22Z) - MOPO: Model-based Offline Policy Optimization [183.6449600580806]
オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。
既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。
本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
論文 参考訳(メタデータ) (2020-05-27T08:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。