論文の概要: IMM: An Imitative Reinforcement Learning Approach with Predictive
Representation Learning for Automatic Market Making
- arxiv url: http://arxiv.org/abs/2308.08918v1
- Date: Thu, 17 Aug 2023 11:04:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 17:07:11.813007
- Title: IMM: An Imitative Reinforcement Learning Approach with Predictive
Representation Learning for Automatic Market Making
- Title（参考訳）: IMM: 自動市場形成のための予測表現学習を用いたイミティブ強化学習手法
- Authors: Hui Niu, Siyuan Li, Jiahao Zheng, Zhouchi Lin, Jian Li, Jian Guo, Bo
An
- Abstract要約: 強化学習技術は量的取引において顕著な成功を収めた。
既存のRLベースのマーケットメイキング手法のほとんどは、単価レベルの戦略の最適化に重点を置いている。
Imitative Market Maker (IMM) は、準最適信号に基づく専門家の知識と直接的な政策相互作用の両方を活用する新しいRLフレームワークである。
- 参考スコア（独自算出の注目度）: 33.23156884634365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Market making (MM) has attracted significant attention in financial trading
owing to its essential function in ensuring market liquidity. With strong
capabilities in sequential decision-making, Reinforcement Learning (RL)
technology has achieved remarkable success in quantitative trading.
Nonetheless, most existing RL-based MM methods focus on optimizing single-price
level strategies which fail at frequent order cancellations and loss of queue
priority. Strategies involving multiple price levels align better with actual
trading scenarios. However, given the complexity that multi-price level
strategies involves a comprehensive trading action space, the challenge of
effectively training profitable RL agents for MM persists. Inspired by the
efficient workflow of professional human market makers, we propose Imitative
Market Maker (IMM), a novel RL framework leveraging both knowledge from
suboptimal signal-based experts and direct policy interactions to develop
multi-price level MM strategies efficiently. The framework start with
introducing effective state and action representations adept at encoding
information about multi-price level orders. Furthermore, IMM integrates a
representation learning unit capable of capturing both short- and long-term
market trends to mitigate adverse selection risk. Subsequently, IMM formulates
an expert strategy based on signals and trains the agent through the
integration of RL and imitation learning techniques, leading to efficient
learning. Extensive experimental results on four real-world market datasets
demonstrate that IMM outperforms current RL-based market making strategies in
terms of several financial criteria. The findings of the ablation study
substantiate the effectiveness of the model components.
- Abstract（参考訳）: 市場流動性の確保に欠かせない機能のため、市場形成(MM)は金融取引において大きな注目を集めている。
シーケンシャルな意思決定における強力な能力により、強化学習(RL)技術は量的取引において顕著な成功を収めた。
それにもかかわらず、既存のRLベースのMM手法のほとんどは、頻繁な注文キャンセルや待ち行列優先度の喪失で失敗する単価レベル戦略の最適化に重点を置いている。
複数の価格レベルを含む戦略は、実際の取引シナリオに合致する。
しかし、多価レベルの戦略が包括的取引行動空間を伴う複雑さを考えると、利益率の高いRLエージェントをMMのために効果的に訓練することの難しさは持続する。
プロフェッショナルなヒューマン・マーケット・メーカーの効率的なワークフローに触発され、最適信号に基づく専門家の知識と直接政策の相互作用を両立させる新しいRLフレームワークであるImitative Market Maker (IMM)を提案する。
このフレームワークは、複数の価格レベルの注文に関する情報のエンコーディングに適した、効果的な状態とアクション表現の導入から始まる。
さらに、IDMは、短期および長期の市場動向を把握し、有害選択リスクを軽減できる表現学習ユニットを統合する。
その後、IMMは信号に基づいて専門家戦略を定式化し、RLと模倣学習技術の統合を通じてエージェントを訓練し、効率的な学習をもたらす。
4つの実世界の市場データセットの大規模な実験結果から、IMMはいくつかの財務基準で現在のRLベースの市場形成戦略より優れていることが示された。
アブレーション研究の結果は,モデル成分の有効性を実証した。
関連論文リスト
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - Automate Strategy Finding with LLM in Quant investment [4.46212317245124]
ポートフォリオ管理とアルファマイニングにおける定量株式投資のための新しい枠組みを提案する。
本稿では,大規模言語モデル(LLM)がマルチモーダル財務データからアルファ因子を抽出する枠組みを提案する。
中国株式市場の実験は、この枠組みが最先端のベースラインを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2024-09-10T07:42:28Z) - When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。
StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。
AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
論文 参考訳（メタデータ） (2024-07-15T06:49:30Z) - Learning the Market: Sentiment-Based Ensemble Trading Agents [5.005352154557397]
株価取引のための感情分析と深層強化学習アンサンブルアルゴリズムの統合について検討する。
当社のアプローチは、利益があり、堅牢で、リスク最小限の戦略をもたらすことを示しています。
論文 参考訳（メタデータ） (2024-02-02T14:34:22Z) - Developing A Multi-Agent and Self-Adaptive Framework with Deep Reinforcement Learning for Dynamic Portfolio Risk Management [1.2016264781280588]
ポートフォリオ全体のリターンと潜在的なリスクの間のトレードオフのバランスをとるために,マルチエージェント強化学習(RL)アプローチを提案する。
得られた実験結果から,提案したMASAフレームワークの有効性が明らかとなった。
論文 参考訳（メタデータ） (2024-02-01T11:31:26Z) - Harnessing Deep Q-Learning for Enhanced Statistical Arbitrage in
High-Frequency Trading: A Comprehensive Exploration [0.0]
強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話することで学習する機械学習の分野である。
本稿では,HFT(High-Frequency Trading)シナリオに適した統計仲裁手法におけるRLの統合について述べる。
広範なシミュレーションやバックテストを通じて、RLはトレーディング戦略の適応性を高めるだけでなく、収益性指標の改善やリスク調整されたリターンの期待も示している。
論文 参考訳（メタデータ） (2023-09-13T06:15:40Z) - Factor Investing with a Deep Multi-Factor Model [123.52358449455231]
我々は、業界中立化と市場中立化モジュールを明確な財務見識をもって取り入れた、新しい深層多要素モデルを開発する。
実世界の株式市場データによるテストは、我々の深層多要素モデルの有効性を示している。
論文 参考訳（メタデータ） (2022-10-22T14:47:11Z) - MetaTrader: An Reinforcement Learning Approach Integrating Diverse
Policies for Portfolio Optimization [17.759687104376855]
ポートフォリオ管理のための新しい2段階的アプローチを提案する。
最初の段階では、強化学習フレームワークに模倣学習を組み込む。
第2段階では、メタ政治を学び、市場状況を認識し、従うべき最も適切な学習方針を決定する。
論文 参考訳（メタデータ） (2022-09-01T07:58:06Z) - Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。
模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
論文 参考訳（メタデータ） (2021-12-08T14:55:21Z) - Universal Trading for Order Execution with Oracle Policy Distillation [99.57416828489568]
本稿では,不完全な市場状態と注文実行のための最適な行動シーケンスとのギャップを埋める,新たなユニバーサル取引ポリシー最適化フレームワークを提案する。
本研究の枠組みは,完全情報を持つ託宣教師による実践的最適実行に向けて,共通政策の学習を指導する上で有効であることを示す。
論文 参考訳（メタデータ） (2021-01-28T05:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。