論文の概要: Logic-Q: Improving Deep Reinforcement Learning-based Quantitative Trading via Program Sketch-based Tuning
- arxiv url: http://arxiv.org/abs/2310.05551v3
- Date: Thu, 06 Feb 2025 13:40:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:29:53.452522
- Title: Logic-Q: Improving Deep Reinforcement Learning-based Quantitative Trading via Program Sketch-based Tuning
- Title（参考訳）: Logic-Q: プログラム・スケッチ・ベースのチューニングによる深層強化学習に基づく量的トレーディングの改善
- Authors: Zhiming Li, Junzhe Jiang, Yushi Cao, Aixin Cui, Bozhi Wu, Bo Li, Yang Liu, Danny Dongning Sun,
- Abstract要約: 論理Qと呼ばれるQトレーディングのための普遍的な論理誘導型深層強化学習フレームワークを提案する。
特に、Logic-Qは、スケッチによるプログラム合成を採用し、軽量でプラグアンドプレイの市場トレンド対応のプログラムスケッチを活用して、市場の動向を決定するロジック誘導モデル設計を導入する。
2つの一般的な量的トレーディングタスクの広範囲な評価は、Logic-Qが従来の最先端DRLトレーディング戦略の性能を大幅に改善できることを示している。
- 参考スコア（独自算出の注目度）: 9.039809980024852
- License:
- Abstract: Deep reinforcement learning (DRL) has revolutionized quantitative trading (Q-trading) by achieving decent performance without significant human expert knowledge. Despite its achievements, we observe that the current state-of-the-art DRL models are still ineffective in identifying the market trends, causing them to miss good trading opportunities or suffer from large drawdowns when encountering market crashes. To address this limitation, a natural approach is to incorporate human expert knowledge in identifying market trends. Whereas, such knowledge is abstract and hard to be quantified. In order to effectively leverage abstract human expert knowledge, in this paper, we propose a universal logic-guided deep reinforcement learning framework for Q-trading, called Logic-Q. In particular, Logic-Q adopts the program synthesis by sketching paradigm and introduces a logic-guided model design that leverages a lightweight, plug-and-play market trend-aware program sketch to determine the market trend and correspondingly adjusts the DRL policy in a post-hoc manner. Extensive evaluations of two popular quantitative trading tasks demonstrate that Logic-Q can significantly improve the performance of previous state-of-the-art DRL trading strategies.
- Abstract（参考訳）: 深層強化学習(DRL)は、有能な人的知識を伴わずに優れたパフォーマンスを達成し、量的取引(Qトレーディング)に革命をもたらした。
その成果にもかかわらず、現在最先端のDRLモデルは、市場の動向を特定するのに依然として効果がないため、良い取引機会を逃したり、市場崩壊に遭遇した場合に大きな損失を被ることになる。
この制限に対処するため、市場のトレンドを特定するために人間の専門家の知識を組み込むことが自然なアプローチである。
しかし、そのような知識は抽象的で定量化が難しい。
本稿では,抽象的専門家の知識を効果的に活用するために,論理-Qと呼ばれるQ-トレーディングのための汎用的な論理誘導型深層強化学習フレームワークを提案する。
特に、Logic-Qは、スケッチパラダイムによるプログラム合成を採用し、軽量でプラグアンドプレイの市場トレンド対応のプログラムスケッチを活用して、市場動向を判断し、それに応じてDRLポリシーをポストホックな方法で調整するロジック誘導型モデル設計を導入する。
2つの一般的な量的トレーディングタスクの広範囲な評価は、Logic-Qが従来の最先端DRLトレーディング戦略の性能を大幅に改善できることを示している。
関連論文リスト
- Risk-averse policies for natural gas futures trading using distributional reinforcement learning [0.0]
本稿では,天然ガス先物取引における3つの分散RLアルゴリズムの有効性について検討する。
私たちの知る限りでは、これらのアルゴリズムはトレーディングの文脈で一度も適用されていない。
CVaR を最大化するために C51 と IQN を訓練すると, リスク回避性のあるリスク感受性ポリシーが得られた。
論文 参考訳（メタデータ） (2025-01-08T11:11:25Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Let's reward step by step: Step-Level reward model as the Navigators for
Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。
LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。
提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文 参考訳（メタデータ） (2023-10-16T05:21:50Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z) - Harnessing Deep Q-Learning for Enhanced Statistical Arbitrage in
High-Frequency Trading: A Comprehensive Exploration [0.0]
強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話することで学習する機械学習の分野である。
本稿では,HFT(High-Frequency Trading)シナリオに適した統計仲裁手法におけるRLの統合について述べる。
広範なシミュレーションやバックテストを通じて、RLはトレーディング戦略の適応性を高めるだけでなく、収益性指標の改善やリスク調整されたリターンの期待も示している。
論文 参考訳（メタデータ） (2023-09-13T06:15:40Z) - IMM: An Imitative Reinforcement Learning Approach with Predictive
Representation Learning for Automatic Market Making [33.23156884634365]
強化学習技術は量的取引において顕著な成功を収めた。
既存のRLベースのマーケットメイキング手法のほとんどは、単価レベルの戦略の最適化に重点を置いている。
Imitative Market Maker (IMM) は、準最適信号に基づく専門家の知識と直接的な政策相互作用の両方を活用する新しいRLフレームワークである。
論文 参考訳（メタデータ） (2023-08-17T11:04:09Z) - Factor Investing with a Deep Multi-Factor Model [123.52358449455231]
我々は、業界中立化と市場中立化モジュールを明確な財務見識をもって取り入れた、新しい深層多要素モデルを開発する。
実世界の株式市場データによるテストは、我々の深層多要素モデルの有効性を示している。
論文 参考訳（メタデータ） (2022-10-22T14:47:11Z) - Deep Reinforcement Learning Approach for Trading Automation in The Stock
Market [0.0]
本稿では,Deep Reinforcement Learning (DRL)アルゴリズムを用いて,株式市場における収益性取引を生成するモデルを提案する。
我々は、市場が課す制約を考慮して、部分的に観測されたマルコフ決定プロセス(POMDP)モデルとして取引問題を定式化する。
次に, Twin Delayed Deep Deterministic Policy Gradient (TD3) アルゴリズムを用いて, 2.68 Sharpe Ratio を未知のデータセットに報告し, 定式化した POMDP 問題を解く。
論文 参考訳（メタデータ） (2022-07-05T11:34:29Z) - Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics
in Limit-Order Book Markets [84.90242084523565]
伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。
最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。
予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
論文 参考訳（メタデータ） (2022-03-07T18:59:54Z) - Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。
模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
論文 参考訳（メタデータ） (2021-12-08T14:55:21Z) - An Application of Deep Reinforcement Learning to Algorithmic Trading [4.523089386111081]
本稿では, 深部強化学習(DRL)に基づくアルゴリズム取引問題の解法を提案する。
幅広い株式市場でシャープ比のパフォーマンス指標を最大化するために、新しいDRLトレーディング戦略を提案する。
得られた強化学習 (RL) エージェントのトレーニングは, 限られた市場履歴データから人工軌道を生成することに基づいている。
論文 参考訳（メタデータ） (2020-04-07T14:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。