論文の概要: Reinforcement Learning in High-frequency Market Making

• arxiv url: http://arxiv.org/abs/2407.21025v2
• Date: Mon, 12 Aug 2024 16:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 20:23:30.196636
• Title: Reinforcement Learning in High-frequency Market Making
• Title（参考訳）: 高周波市場における強化学習
• Authors: Yuheng Zheng, Zihan Ding,
• Abstract要約: 本稿では、高周波市場形成における強化学習(RL)の適用に関する、新しい包括的理論的解析手法を確立する。 我々は、現代RL理論と高周波金融経済学における連続時間統計モデルを橋渡しする。
• 参考スコア（独自算出の注目度）: 7.740207107300432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper establishes a new and comprehensive theoretical analysis for the application of reinforcement learning (RL) in high-frequency market making. We bridge the modern RL theory and the continuous-time statistical models in high-frequency financial economics. Different with most existing literature on methodological research about developing various RL methods for market making problem, our work is a pilot to provide the theoretical analysis. We target the effects of sampling frequency, and find an interesting tradeoff between error and complexity of RL algorithm when tweaking the values of the time increment $\Delta$ $-$ as $\Delta$ becomes smaller, the error will be smaller but the complexity will be larger. We also study the two-player case under the general-sum game framework and establish the convergence of Nash equilibrium to the continuous-time game equilibrium as $\Delta\rightarrow0$. The Nash Q-learning algorithm, which is an online multi-agent RL method, is applied to solve the equilibrium. Our theories are not only useful for practitioners to choose the sampling frequency, but also very general and applicable to other high-frequency financial decision making problems, e.g., optimal executions, as long as the time-discretization of a continuous-time markov decision process is adopted. Monte Carlo simulation evidence support all of our theories.
• Abstract（参考訳）: 本稿では、高周波市場形成における強化学習(RL)の適用に関する、新しい包括的理論的解析手法を確立する。 我々は、現代RL理論と高周波金融経済学における連続時間統計モデルを橋渡しする。 市場形成問題に対する様々なRL手法の開発に関する方法論研究に関する多くの文献とは異なり、我々の研究は理論的分析を提供するパイロットである。 我々はサンプリング周波数の効果を目標とし、時間インクリメント$\Delta$$-$が小さくなれば、エラーは小さくなるが、複雑さは大きくなる。 また、一般ゲームフレームワーク下での2人プレイヤケースについて検討し、ナッシュ均衡の連続時間ゲーム平衡への収束を$\Delta\rightarrow0$として確立する。 オンラインマルチエージェントRL法であるNash Q-learningアルゴリズムを適用し,その平衡を解く。 我々の理論は, サンプリング頻度を選択するだけでなく, 連続的マルコフ決定プロセスの時間分散化が採用される限り, その他の高周波金融決定問題にも適用可能である。 モンテカルロシミュレーションの証拠は、我々のすべての理論を支持している。

関連論文リスト

• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• Zero-Sum Positional Differential Games as a Framework for Robust Reinforcement Learning: Deep Q-Learning Approach [2.3020018305241337]
  本稿では、位置微分ゲーム理論におけるRRL問題を考慮した最初の提案である。 すなわち、イザックの条件の下では、同じQ-函数をミニマックス方程式とマクシミン・ベルマン方程式の近似解として利用することができる。 本稿ではIssas Deep Q-Networkアルゴリズムについて,他のベースラインRRLやMulti-Agent RLアルゴリズムと比較して,その優位性を示す。
  論文  参考訳（メタデータ） (2024-05-03T12:21:43Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Using Experience Classification for Training Non-Markovian Tasks [11.267797018727402]
  非マルコフ的タスクは、自律運転、金融取引、医療診断などの実践的な応用に頻繁に適用される。 時間論理学で表される非マルコフ報酬を実現するための新しいRL手法を提案する。
  論文  参考訳（メタデータ） (2023-10-18T03:00:59Z)
• Stock Trading Optimization through Model-based Reinforcement Learning with Resistance Support Relative Strength [4.322320095367326]
  我々は、モデルベース強化学習(MBRL)アルゴリズムにおける行動の正規化用語として、抵抗とサポート(RS)レベルを活用する新しいアプローチを設計する。 提案手法は、新型コロナウイルス(COVID-19)のパンデミック期、金融市場が予測不可能な危機に陥った時に、大きな下落(最大減損)にも耐えられる。
  論文  参考訳（メタデータ） (2022-05-30T12:36:48Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
  環境からの状態遷移を観察するのは費用がかかる。 標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。 本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-12-09T23:13:57Z)
• Recent Advances in Reinforcement Learning in Finance [3.0079490585515343]
  データ量の増加による金融業界の急激な変化は、データ処理やデータ分析に関する技術に革命をもたらした。 強化学習(RL)による新たな発展は、大量の財務データをフル活用することができる。
  論文  参考訳（メタデータ） (2021-12-08T19:55:26Z)
• Entropy Regularized Reinforcement Learning Using Large Deviation Theory [3.058685580689605]
  本稿では,エントロピー規則化RLのマッピングと非平衡統計力学の研究を行う。 大偏差理論からのアプローチを適用し、最適政策と最適力学の正確な解析結果を導出する。 その結果、エントロピー規則化RLの新たな解析および計算フレームワークが実現され、シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2021-06-07T19:42:06Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。