論文の概要: PST: Improving Quantitative Trading via Program Sketch-based Tuning
- arxiv url: http://arxiv.org/abs/2310.05551v2
- Date: Wed, 24 Apr 2024 10:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 23:47:37.528583
- Title: PST: Improving Quantitative Trading via Program Sketch-based Tuning
- Title（参考訳）: PST:プログラムスケッチベースのチューニングによる量的トレーディングの改善
- Authors: Zhiming Li, Junzhe Jiang, Yushi Cao, Aixin Cui, Bozhi Wu, Bo Li, Yang Liu, Dongning Sun,
- Abstract要約: プログラム・スケッチ・ベース・チューニング(PST)と呼ばれるユニバーサル・ニューロシンボリック・チューニング・フレームワークを提案する。
PSTはまず,市場動向に関する抽象的人間専門家の知識を組み込むために,新しいシンボリックプログラムスケッチを提案する。
ニューラルシンボリックなフレームワークを最適化するために,我々は新しいハイブリッド最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 9.039809980024852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (DRL) has revolutionized quantitative finance by achieving decent performance without significant human expert knowledge. Despite its achievements, we observe that the current state-of-the-art DRL models are still ineffective in identifying the market trend, causing them to miss good trading opportunities or suffer from large drawdowns when encountering market crashes. To tackle this limitation, a natural idea is to embed human expert knowledge regarding the market trend. Whereas, such knowledge is abstract and hard to be quantified. In this paper, we propose a universal neuro-symbolic tuning framework, called program sketch-based tuning (PST). Particularly, PST first proposes using a novel symbolic program sketch to embed the abstract human expert knowledge of market trends. Then we utilize the program sketch to tune a trained DRL policy according to the different market trend of the moment. Finally, in order to optimize this neural-symbolic framework, we propose a novel hybrid optimization method. Extensive evaluations on two popular quantitative trading tasks demonstrate that PST can significantly enhance the performance of previous state-of-the-art DRL strategies while being extremely lightweight.
- Abstract（参考訳）: 深層強化学習(DRL)は、有能な人的知識を伴わずに十分なパフォーマンスを達成し、量的金融に革命をもたらした。
その成果にもかかわらず、現在最先端のDRLモデルは依然として市場の動向を特定するのに効果がなく、良い取引機会を逃したり、市場崩壊に遭遇した場合に大きな損失を被ることになる。
この制限に対処するためには、市場の動向に関する人間の専門知識を組み込むことが自然な考えである。
しかし、そのような知識は抽象的で定量化が難しい。
本稿では,プログラム・スケッチ・ベース・チューニング(PST)と呼ばれる,普遍的なニューロシンボリック・チューニング・フレームワークを提案する。
特に、PSTは、新しい記号プログラムスケッチを使用して、市場動向に関する抽象的人間専門家の知識を埋め込むことを最初に提案する。
そして、プログラムスケッチを利用して、現在の市場動向に応じて訓練されたDRLポリシーをチューニングする。
最後に,このニューラルシンボリックフレームワークを最適化するために,新しいハイブリッド最適化手法を提案する。
2つの一般的な量的トレーディングタスクに対する広範囲な評価は、PSTが非常に軽量でありながら、従来の最先端DRL戦略の性能を大幅に向上させることができることを示している。
関連論文リスト
- MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。
本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文 参考訳（メタデータ） (2024-11-15T18:57:39Z) - Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution [0.9553307596675155]
本稿では,階層強化学習フレームワークを用いた新たなトレーディング戦略である階層強化トレーサ(HRT)を紹介する。
HRTは、戦略的株式選択のためのPPO(Proximal Policy Optimization)ベースのHigh-Level Controller(HLC)をDDPG(Deep Deterministic Policy Gradient)ベースのLow-Level Controller(LLC)と統合する。
論文 参考訳（メタデータ） (2024-10-19T01:29:38Z) - MOT: A Mixture of Actors Reinforcement Learning Method by Optimal Transport for Algorithmic Trading [6.305870529904885]
マーケットの異なるパターンをモデル化するために,複数のアクターを非交叉表現学習で設計するMOTを提案する。
将来の市場データによる実験結果から,MOTはリスクのバランスを保ちながら優れた収益性を示すことが示された。
論文 参考訳（メタデータ） (2024-06-03T01:42:52Z) - Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。
提案アルゴリズムはIRL問題の定常解に収束することを示す。
その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
論文 参考訳（メタデータ） (2024-05-28T07:11:05Z) - Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。
本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。
DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
論文 参考訳（メタデータ） (2023-11-01T03:32:13Z) - Harnessing Deep Q-Learning for Enhanced Statistical Arbitrage in
High-Frequency Trading: A Comprehensive Exploration [0.0]
強化学習(Reinforcement Learning、RL)は、エージェントが環境と対話することで学習する機械学習の分野である。
本稿では,HFT(High-Frequency Trading)シナリオに適した統計仲裁手法におけるRLの統合について述べる。
広範なシミュレーションやバックテストを通じて、RLはトレーディング戦略の適応性を高めるだけでなく、収益性指標の改善やリスク調整されたリターンの期待も示している。
論文 参考訳（メタデータ） (2023-09-13T06:15:40Z) - Commodities Trading through Deep Policy Gradient Methods [0.0]
商品取引問題を連続的な離散時間力学系として定式化する。
アクターベースとアクタークリティカルベースの2つのポリシーアルゴリズムが導入された。
先月末の天然ガス先物試験では、DRLモデルのシャープ比が買いと持ち株ベースラインと比較して83%高くなることが示されている。
論文 参考訳（メタデータ） (2023-08-10T17:21:12Z) - Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。
提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。
多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-27T15:18:54Z) - Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics
in Limit-Order Book Markets [84.90242084523565]
伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。
最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。
予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
論文 参考訳（メタデータ） (2022-03-07T18:59:54Z) - Sequential Information Design: Markov Persuasion Process and Its
Efficient Reinforcement Learning [156.5667417159582]
本稿では,逐次情報設計の新たなモデル,すなわちマルコフ説得過程(MPP)を提案する。
MPPのプランニングは、ミオピックレシーバーに同時に説得されるシグナルポリシーを見つけ、送信者の最適な長期累積ユーティリティを誘導する、というユニークな課題に直面している。
我々は,楽観主義と悲観主義の両原理の新たな組み合わせを特徴とする,実証可能な効率のよい非回帰学習アルゴリズム,Optimism-Pessimism Principle for Persuasion Process (OP4) を設計する。
論文 参考訳（メタデータ） (2022-02-22T05:41:43Z) - An Application of Deep Reinforcement Learning to Algorithmic Trading [4.523089386111081]
本稿では, 深部強化学習(DRL)に基づくアルゴリズム取引問題の解法を提案する。
幅広い株式市場でシャープ比のパフォーマンス指標を最大化するために、新しいDRLトレーディング戦略を提案する。
得られた強化学習 (RL) エージェントのトレーニングは, 限られた市場履歴データから人工軌道を生成することに基づいている。
論文 参考訳（メタデータ） (2020-04-07T14:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。