論文の概要: IMM: An Imitative Reinforcement Learning Approach with Predictive
Representation Learning for Automatic Market Making
- arxiv url: http://arxiv.org/abs/2308.08918v1
- Date: Thu, 17 Aug 2023 11:04:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 17:07:11.813007
- Title: IMM: An Imitative Reinforcement Learning Approach with Predictive
Representation Learning for Automatic Market Making
- Title(参考訳): IMM: 自動市場形成のための予測表現学習を用いたイミティブ強化学習手法
- Authors: Hui Niu, Siyuan Li, Jiahao Zheng, Zhouchi Lin, Jian Li, Jian Guo, Bo
An
- Abstract要約: 強化学習技術は量的取引において顕著な成功を収めた。
既存のRLベースのマーケットメイキング手法のほとんどは、単価レベルの戦略の最適化に重点を置いている。
Imitative Market Maker (IMM) は、準最適信号に基づく専門家の知識と直接的な政策相互作用の両方を活用する新しいRLフレームワークである。
- 参考スコア(独自算出の注目度): 33.23156884634365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Market making (MM) has attracted significant attention in financial trading
owing to its essential function in ensuring market liquidity. With strong
capabilities in sequential decision-making, Reinforcement Learning (RL)
technology has achieved remarkable success in quantitative trading.
Nonetheless, most existing RL-based MM methods focus on optimizing single-price
level strategies which fail at frequent order cancellations and loss of queue
priority. Strategies involving multiple price levels align better with actual
trading scenarios. However, given the complexity that multi-price level
strategies involves a comprehensive trading action space, the challenge of
effectively training profitable RL agents for MM persists. Inspired by the
efficient workflow of professional human market makers, we propose Imitative
Market Maker (IMM), a novel RL framework leveraging both knowledge from
suboptimal signal-based experts and direct policy interactions to develop
multi-price level MM strategies efficiently. The framework start with
introducing effective state and action representations adept at encoding
information about multi-price level orders. Furthermore, IMM integrates a
representation learning unit capable of capturing both short- and long-term
market trends to mitigate adverse selection risk. Subsequently, IMM formulates
an expert strategy based on signals and trains the agent through the
integration of RL and imitation learning techniques, leading to efficient
learning. Extensive experimental results on four real-world market datasets
demonstrate that IMM outperforms current RL-based market making strategies in
terms of several financial criteria. The findings of the ablation study
substantiate the effectiveness of the model components.
- Abstract(参考訳): 市場流動性の確保に欠かせない機能のため、市場形成(MM)は金融取引において大きな注目を集めている。
シーケンシャルな意思決定における強力な能力により、強化学習(RL)技術は量的取引において顕著な成功を収めた。
それにもかかわらず、既存のRLベースのMM手法のほとんどは、頻繁な注文キャンセルや待ち行列優先度の喪失で失敗する単価レベル戦略の最適化に重点を置いている。
複数の価格レベルを含む戦略は、実際の取引シナリオに合致する。
しかし、多価レベルの戦略が包括的取引行動空間を伴う複雑さを考えると、利益率の高いRLエージェントをMMのために効果的に訓練することの難しさは持続する。
プロフェッショナルなヒューマン・マーケット・メーカーの効率的なワークフローに触発され、最適信号に基づく専門家の知識と直接政策の相互作用を両立させる新しいRLフレームワークであるImitative Market Maker (IMM)を提案する。
このフレームワークは、複数の価格レベルの注文に関する情報のエンコーディングに適した、効果的な状態とアクション表現の導入から始まる。
さらに、IDMは、短期および長期の市場動向を把握し、有害選択リスクを軽減できる表現学習ユニットを統合する。
その後、IMMは信号に基づいて専門家戦略を定式化し、RLと模倣学習技術の統合を通じてエージェントを訓練し、効率的な学習をもたらす。
4つの実世界の市場データセットの大規模な実験結果から、IMMはいくつかの財務基準で現在のRLベースの市場形成戦略より優れていることが示された。
アブレーション研究の結果は,モデル成分の有効性を実証した。
関連論文リスト
- Developing A Multi-Agent and Self-Adaptive Framework with Deep
Reinforcement Learning for Dynamic Portfolio Risk Management [1.3505077405741583]
ポートフォリオ全体のリターンと潜在的なリスクの間のトレードオフのバランスをとるために,マルチエージェント強化学習(RL)アプローチを提案する。
得られた実験結果から,提案したMASAフレームワークの有効性が明らかとなった。
論文 参考訳(メタデータ) (2024-02-01T11:31:26Z) - Harnessing Deep Q-Learning for Enhanced Statistical Arbitrage in
High-Frequency Trading: A Comprehensive Exploration [0.0]
強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話することで学習する機械学習の分野である。
本稿では,HFT(High-Frequency Trading)シナリオに適した統計仲裁手法におけるRLの統合について述べる。
広範なシミュレーションやバックテストを通じて、RLはトレーディング戦略の適応性を高めるだけでなく、収益性指標の改善やリスク調整されたリターンの期待も示している。
論文 参考訳(メタデータ) (2023-09-13T06:15:40Z) - Learning Multi-Agent Intention-Aware Communication for Optimal
Multi-Order Execution in Finance [96.73189436721465]
まず,現実的な制約を考慮したマルチオーダー実行のためのマルチエージェントRL(MARL)手法を提案する。
本稿では,学習可能なマルチラウンド通信プロトコルを提案する。
2つの実世界の市場のデータに関する実験では、優れたパフォーマンスを示し、コラボレーションの有効性が著しく向上した。
論文 参考訳(メタデータ) (2023-07-06T16:45:40Z) - Factor Investing with a Deep Multi-Factor Model [123.52358449455231]
我々は、業界中立化と市場中立化モジュールを明確な財務見識をもって取り入れた、新しい深層多要素モデルを開発する。
実世界の株式市場データによるテストは、我々の深層多要素モデルの有効性を示している。
論文 参考訳(メタデータ) (2022-10-22T14:47:11Z) - MetaTrader: An Reinforcement Learning Approach Integrating Diverse
Policies for Portfolio Optimization [17.759687104376855]
ポートフォリオ管理のための新しい2段階的アプローチを提案する。
最初の段階では、強化学習フレームワークに模倣学習を組み込む。
第2段階では、メタ政治を学び、市場状況を認識し、従うべき最も適切な学習方針を決定する。
論文 参考訳(メタデータ) (2022-09-01T07:58:06Z) - Deep Reinforcement Learning Approach for Trading Automation in The Stock
Market [0.0]
本稿では,Deep Reinforcement Learning (DRL)アルゴリズムを用いて,株式市場における収益性取引を生成するモデルを提案する。
我々は、市場が課す制約を考慮して、部分的に観測されたマルコフ決定プロセス(POMDP)モデルとして取引問題を定式化する。
次に, Twin Delayed Deep Deterministic Policy Gradient (TD3) アルゴリズムを用いて, 2.68 Sharpe Ratio を未知のデータセットに報告し, 定式化した POMDP 問題を解く。
論文 参考訳(メタデータ) (2022-07-05T11:34:29Z) - Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。
模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
論文 参考訳(メタデータ) (2021-12-08T14:55:21Z) - Universal Trading for Order Execution with Oracle Policy Distillation [99.57416828489568]
本稿では,不完全な市場状態と注文実行のための最適な行動シーケンスとのギャップを埋める,新たなユニバーサル取引ポリシー最適化フレームワークを提案する。
本研究の枠組みは,完全情報を持つ託宣教師による実践的最適実行に向けて,共通政策の学習を指導する上で有効であることを示す。
論文 参考訳(メタデータ) (2021-01-28T05:52:18Z) - An Application of Deep Reinforcement Learning to Algorithmic Trading [4.523089386111081]
本稿では, 深部強化学習(DRL)に基づくアルゴリズム取引問題の解法を提案する。
幅広い株式市場でシャープ比のパフォーマンス指標を最大化するために、新しいDRLトレーディング戦略を提案する。
得られた強化学習 (RL) エージェントのトレーニングは, 限られた市場履歴データから人工軌道を生成することに基づいている。
論文 参考訳(メタデータ) (2020-04-07T14:57:23Z) - Reinforcement-Learning based Portfolio Management with Augmented Asset
Movement Prediction States [71.54651874063865]
ポートフォリオマネジメント(PM)は、最大利益や最小リスクといった投資目標を達成することを目的としている。
本稿では,PMのための新しいステート拡張RLフレームワークであるSARLを提案する。
当社の枠組みは, 金融PMにおける2つのユニークな課題に対処することを目的としている。(1) データの異種データ -- 資産毎の収集情報は通常, 多様性, ノイズ, 不均衡(ニュース記事など), (2) 環境の不確実性 -- 金融市場は多様で非定常である。
論文 参考訳(メタデータ) (2020-02-09T08:10:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。