論文の概要: Combining Transformer based Deep Reinforcement Learning with
Black-Litterman Model for Portfolio Optimization
- arxiv url: http://arxiv.org/abs/2402.16609v1
- Date: Fri, 23 Feb 2024 16:01:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 20:30:29.983141
- Title: Combining Transformer based Deep Reinforcement Learning with
Black-Litterman Model for Portfolio Optimization
- Title(参考訳): ポートフォリオ最適化のためのトランスフォーマーベース深層強化学習とブラックリッターマンモデルの統合
- Authors: Ruoyu Sun (1), Angelos Stefanidis (2), Zhengyong Jiang (2), Jionglong
Su (2) ((1) Xi'an Jiaotong-Liverpool University, School of Mathematics and
Physics, Department of Financial and Actuarial Mathematics (2) Xi'an
Jiaotong-Liverpool University Entrepreneur College (Taicang), School of AI
and Advanced Computing (1))
- Abstract要約: モデルフリーのアルゴリズムとして、深層強化学習(DRL)エージェントは、教師なしの方法で環境と対話することで学習し、決定する。
DRLエージェントとBlack-Litterman (BL)モデルを組み合わせたハイブリッドポートフォリオ最適化モデルを提案する。
我々のDRLエージェントは、様々な比較ポートフォリオ選択戦略と代替DRLフレームワークを、累積リターンで少なくとも42%上回っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a model-free algorithm, deep reinforcement learning (DRL) agent learns and
makes decisions by interacting with the environment in an unsupervised way. In
recent years, DRL algorithms have been widely applied by scholars for portfolio
optimization in consecutive trading periods, since the DRL agent can
dynamically adapt to market changes and does not rely on the specification of
the joint dynamics across the assets. However, typical DRL agents for portfolio
optimization cannot learn a policy that is aware of the dynamic correlation
between portfolio asset returns. Since the dynamic correlations among portfolio
assets are crucial in optimizing the portfolio, the lack of such knowledge
makes it difficult for the DRL agent to maximize the return per unit of risk,
especially when the target market permits short selling (i.e., the US stock
market). In this research, we propose a hybrid portfolio optimization model
combining the DRL agent and the Black-Litterman (BL) model to enable the DRL
agent to learn the dynamic correlation between the portfolio asset returns and
implement an efficacious long/short strategy based on the correlation.
Essentially, the DRL agent is trained to learn the policy to apply the BL model
to determine the target portfolio weights. To test our DRL agent, we construct
the portfolio based on all the Dow Jones Industrial Average constitute stocks.
Empirical results of the experiments conducted on real-world United States
stock market data demonstrate that our DRL agent significantly outperforms
various comparison portfolio choice strategies and alternative DRL frameworks
by at least 42% in terms of accumulated return. In terms of the return per unit
of risk, our DRL agent significantly outperforms various comparative portfolio
choice strategies and alternative strategies based on other machine learning
frameworks.
- Abstract(参考訳): モデルフリーのアルゴリズムとして、深層強化学習(DRL)エージェントは、教師なしの方法で環境と対話することで学習し、決定する。
近年、DRLエージェントは市場の変化に動的に適応でき、資産間のジョイントダイナミクスの仕様に依存しないため、継続的な取引期間においてポートフォリオ最適化のためにDRLアルゴリズムが広く採用されている。
しかし、ポートフォリオ最適化のための典型的なdrlエージェントは、ポートフォリオ資産のリターン間の動的相関を認識するポリシーを学習できない。
ポートフォリオ資産間の動的相関はポートフォリオの最適化に不可欠であるため、そのような知識の欠如は、特にターゲット市場がショートセール(すなわち米国株式市場)を許可した場合において、リスク単位当たりのリターンを最大化することが困難となる。
本研究では,DRLエージェントとBlack-Litterman (BL)モデルを組み合わせたハイブリッドポートフォリオ最適化モデルを提案する。
基本的に、DRLエージェントは、目標ポートフォリオ重量を決定するためにBLモデルを適用するポリシーを学ぶように訓練される。
DRLエージェントをテストするため,ダウ・ジョーンズ工業平均株価に基づいてポートフォリオを構築した。
実世界の米国株式市場データを用いた実験の結果、我々のDRLエージェントは、様々な比較ポートフォリオ選択戦略や代替DRLフレームワークを、累積リターンで少なくとも42%上回っていることが示された。
リスク単位当たりのリターンに関しては、DRLエージェントは、さまざまな比較ポートフォリオ選択戦略や、他の機械学習フレームワークに基づく代替戦略よりも大幅に優れています。
関連論文リスト
- Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳(メタデータ) (2023-11-13T18:51:57Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Model-Free Reinforcement Learning for Asset Allocation [0.0]
本研究では, モデルフリー深部RLエージェントを用いたポートフォリオ管理における強化学習の性能について検討した。
実物価格で複数のRLエージェントを訓練し、アセットアロケーションの実施方法を学びました。
4つのRL剤(A2C, SAC, PPO, TRPO)は総じてMPTを上回った。
論文 参考訳(メタデータ) (2022-09-21T16:00:24Z) - MetaTrader: An Reinforcement Learning Approach Integrating Diverse
Policies for Portfolio Optimization [17.759687104376855]
ポートフォリオ管理のための新しい2段階的アプローチを提案する。
最初の段階では、強化学習フレームワークに模倣学習を組み込む。
第2段階では、メタ政治を学び、市場状況を認識し、従うべき最も適切な学習方針を決定する。
論文 参考訳(メタデータ) (2022-09-01T07:58:06Z) - Deep Reinforcement Learning and Convex Mean-Variance Optimisation for
Portfolio Management [0.0]
強化学習(RL)法は明示的な予測に頼らず、多段階決定プロセスに適している。
総合的な傾向の異なる経済の3つの市場で実験が行われた。
論文 参考訳(メタデータ) (2022-02-13T10:12:09Z) - Explainable Deep Reinforcement Learning for Portfolio Management: An
Empirical Approach [30.283740528236752]
ディープニューラルネットワークのブラックボックスの性質のため、DRLベースのトレーディング戦略を理解するのは難しい。
ポートフォリオ管理タスクにおけるDRLエージェントの戦略を説明するための実証的アプローチを提案する。
論文 参考訳(メタデータ) (2021-11-07T04:23:48Z) - Distributional Reinforcement Learning for Multi-Dimensional Reward
Functions [91.88969237680669]
多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。
関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。
実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
論文 参考訳(メタデータ) (2021-10-26T11:24:23Z) - Robust Reinforcement Learning on State Observations with Learned Optimal
Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。
固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。
DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文 参考訳(メタデータ) (2021-01-21T05:38:52Z) - MOPO: Model-based Offline Policy Optimization [183.6449600580806]
オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。
既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。
本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
論文 参考訳(メタデータ) (2020-05-27T08:46:41Z) - MOReL : Model-Based Offline Reinforcement Learning [49.30091375141527]
オフライン強化学習(RL)では、環境との歴史的相互作用のデータセットのみに基づく高報酬政策を学習することが目的である。
モデルベースオフラインRLのためのアルゴリズムフレームワークMOReLを提案する。
オフラインRLベンチマークにおいてMOReLが最先端の結果と一致するか,あるいは超えるかを示す。
論文 参考訳(メタデータ) (2020-05-12T17:52:43Z) - A General Framework on Enhancing Portfolio Management with Reinforcement
Learning [3.6985496077087743]
ポートフォリオマネジメントは、リスクプロファイルに対する望ましいリターンを満たすため、金融商品全体の資金と資産の継続的な再配置を懸念している。
深層強化学習(RL)はポートフォリオ管理への関心が高まり、RLエージェントは資産配分プロセスを最適化するために財務データに基づいて訓練されている。
本稿では,資産管理のための一般的なRLフレームワークを提案する。
論文 参考訳(メタデータ) (2019-11-26T23:41:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。