論文の概要: Reinforcement Learning-Based Market Making as a Stochastic Control on Non-Stationary Limit Order Book Dynamics

• arxiv url: http://arxiv.org/abs/2509.12456v1
• Date: Mon, 15 Sep 2025 21:08:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.767446
• Title: Reinforcement Learning-Based Market Making as a Stochastic Control on Non-Stationary Limit Order Book Dynamics
• Title（参考訳）: 非定常極限順序ブックダイナミクスの確率的制御としての強化学習型市場形成
• Authors: Rafael Zimmer, Oswaldo Luiz do Valle Costa,
• Abstract要約: 強化学習(Reinforcement Learning)は、適応型およびデータ駆動型戦略を開発するための有望なフレームワークとして登場した。 本稿では,市場形成における強化学習エージェントの統合について考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning has emerged as a promising framework for developing adaptive and data-driven strategies, enabling market makers to optimize decision-making policies based on interactions with the limit order book environment. This paper explores the integration of a reinforcement learning agent in a market-making context, where the underlying market dynamics have been explicitly modeled to capture observed stylized facts of real markets, including clustered order arrival times, non-stationary spreads and return drifts, stochastic order quantities and price volatility. These mechanisms aim to enhance stability of the resulting control agent, and serve to incorporate domain-specific knowledge into the agent policy learning process. Our contributions include a practical implementation of a market making agent based on the Proximal-Policy Optimization (PPO) algorithm, alongside a comparative evaluation of the agent's performance under varying market conditions via a simulator-based environment. As evidenced by our analysis of the financial return and risk metrics when compared to a closed-form optimal solution, our results suggest that the reinforcement learning agent can effectively be used under non-stationary market conditions, and that the proposed simulator-based environment can serve as a valuable tool for training and pre-training reinforcement learning agents in market-making scenarios.
• Abstract（参考訳）: 強化学習(Reinforcement Learning)は、適応型およびデータ駆動型戦略を開発するための有望なフレームワークとして登場し、市場メーカがリミテッドオーダーブック環境とのインタラクションに基づいて意思決定ポリシーを最適化できるようにする。 本稿では,市場形成における強化学習エージェントの統合について考察する。そこでは,クラスタ化注文到着時間,非定常スプレッドおよびリターンドリフト,確率的注文量,価格変動など,実市場のスタイリングされた事実を捉えるために,市場ダイナミクスを明示的にモデル化した。 これらのメカニズムは、結果として生じるコントロールエージェントの安定性を高め、エージェントポリシー学習プロセスにドメイン固有の知識を組み込むことを目的としている。 我々の貢献は、PPOアルゴリズムに基づく市場形成エージェントの実践的実装と、シミュレータベースの環境を通じて、市場条件の異なる環境下でのエージェントの性能の比較評価を含む。 クローズドフォームの最適解と比較した場合の金融リターンとリスク指標の分析から、この強化学習エージェントは非定常市場条件下で効果的に利用でき、また、提案したシミュレータベースの環境は、市場形成シナリオにおける強化学習エージェントのトレーニングおよび事前訓練のための貴重なツールとなることが示唆された。

関連論文リスト

• Market Making Strategies with Reinforcement Learning [0.0]
  市場メーカー(MM)は流動性の提供において基本的な役割を担っているが、在庫リスク、競争、非定常市場ダイナミクスから生じる重大な課題に直面している。 本研究は, 自律的, 適応的, 収益的な市場形成戦略を開発するために, 強化学習をいかに活用できるかを考察する。
  論文  参考訳（メタデータ） (2025-07-24T16:17:49Z)
• Dynamic Reinsurance Treaty Bidding via Multi-Agent Reinforcement Learning [0.0]
  本稿では,再保証条約入札のための新しいマルチエージェント強化学習(MARL)フレームワークを開発する。 MARLエージェントは、最大15%高い引受利益、20%低い尾リスク、25%以上のシャープ比の改善を達成する。 これらの結果は、MARLがより透明性があり、適応的で、リスクに敏感なリシュアランス市場への道を開くことを示唆している。
  論文  参考訳（メタデータ） (2025-06-16T05:43:22Z)
• Cross-Asset Risk Management: Integrating LLMs for Real-Time Monitoring of Equity, Fixed Income, and Currency Markets [30.815524322885754]
  大規模言語モデル(LLM)は金融分野において強力なツールとして登場した。 LLMを利用したクロス・アセット・リスク・マネジメント・フレームワークを導入し、株式・固定所得・通貨市場のリアルタイムモニタリングを容易にする。
  論文  参考訳（メタデータ） (2025-04-05T22:28:35Z)
• When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
  LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。 StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。 AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
  論文  参考訳（メタデータ） (2024-07-15T06:49:30Z)
• Insurance pricing on price comparison websites via reinforcement learning [7.023335262537794]
  本稿では,モデルベースとモデルフリーの手法を統合することで,最適価格政策を学習する強化学習フレームワークを提案する。 また、オフラインデータセットを一貫した方法で価格ポリシーを評価することの重要性を強調した。
  論文  参考訳（メタデータ） (2023-08-14T04:44:56Z)
• Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning [151.03738099494765]
  労働市場に参入する世帯や企業を無限に数える異種エージェントマクロ経済モデルについて検討する。 本稿では,モデルの正規化競争均衡を求めるデータ駆動強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T17:16:27Z)
• A simple learning agent interacting with an agent-based market model [0.0]
  本研究では,エージェントベースの金融市場モデルと相互作用する単一強化学習最適実行取引エージェントの学習力学を考察する。 モデルのモーメントは、ハースト指数を除いて学習エージェントの影響に対して堅牢であることがわかった。 学習エージェントの導入は、価格影響曲線の形状を保ちつつ、取引量が増えると、トレードオフ自己相関を低減することができる。
  論文  参考訳（メタデータ） (2022-08-22T16:42:06Z)
• A Modular Framework for Reinforcement Learning Optimal Execution [68.8204255655161]
  我々は、最適貿易実行問題への強化学習の適用のためのモジュラーフレームワークを開発する。 このフレームワークは、異なるシミュレーション設定の実装を容易にするために、柔軟性を念頭に設計されている。
  論文  参考訳（メタデータ） (2022-08-11T09:40:42Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Universal Trading for Order Execution with Oracle Policy Distillation [99.57416828489568]
  本稿では,不完全な市場状態と注文実行のための最適な行動シーケンスとのギャップを埋める,新たなユニバーサル取引ポリシー最適化フレームワークを提案する。 本研究の枠組みは,完全情報を持つ託宣教師による実践的最適実行に向けて,共通政策の学習を指導する上で有効であることを示す。
  論文  参考訳（メタデータ） (2021-01-28T05:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。