論文の概要: Explainable Deep Reinforcement Learning for Portfolio Management: An
Empirical Approach
- arxiv url: http://arxiv.org/abs/2111.03995v1
- Date: Sun, 7 Nov 2021 04:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:44:19.978478
- Title: Explainable Deep Reinforcement Learning for Portfolio Management: An
Empirical Approach
- Title(参考訳): ポートフォリオマネジメントのための説明可能な深層強化学習--実証的アプローチ
- Authors: Mao Guan, Xiao-Yang Liu
- Abstract要約: ディープニューラルネットワークのブラックボックスの性質のため、DRLベースのトレーディング戦略を理解するのは難しい。
ポートフォリオ管理タスクにおけるDRLエージェントの戦略を説明するための実証的アプローチを提案する。
- 参考スコア(独自算出の注目度): 30.283740528236752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (DRL) has been widely studied in the portfolio
management task. However, it is challenging to understand a DRL-based trading
strategy because of the black-box nature of deep neural networks. In this
paper, we propose an empirical approach to explain the strategies of DRL agents
for the portfolio management task. First, we use a linear model in hindsight as
the reference model, which finds the best portfolio weights by assuming knowing
actual stock returns in foresight. In particular, we use the coefficients of a
linear model in hindsight as the reference feature weights. Secondly, for DRL
agents, we use integrated gradients to define the feature weights, which are
the coefficients between reward and features under a linear regression model.
Thirdly, we study the prediction power in two cases, single-step prediction and
multi-step prediction. In particular, we quantify the prediction power by
calculating the linear correlations between the feature weights of a DRL agent
and the reference feature weights, and similarly for machine learning methods.
Finally, we evaluate a portfolio management task on Dow Jones 30 constituent
stocks during 01/01/2009 to 09/01/2021. Our approach empirically reveals that a
DRL agent exhibits a stronger multi-step prediction power than machine learning
methods.
- Abstract(参考訳): ポートフォリオ管理タスクにおいて、深層強化学習(DRL)が広く研究されている。
しかし、ディープニューラルネットワークのブラックボックスの性質のため、DRLベースのトレーディング戦略を理解するのは難しい。
本稿では,ポートフォリオ管理タスクにおけるDRLエージェントの戦略を説明するための実証的アプローチを提案する。
まず,先見の株式リターンを想定してポートフォリオの最適重み付けを求める基準モデルとして,後見の線形モデルを用いる。
特に、後方視における線形モデルの係数を基準特徴量として用いる。
第2に、DRLエージェントに対して、線形回帰モデルの下での報酬と特徴の間の係数である特徴量の定義に積分勾配を用いる。
第3に,単段予測と多段予測の2つのケースで予測能力について検討した。
特に,drlエージェントの特徴重みと参照特徴重みとの線形相関を計算し,機械学習法と同様に予測パワーを定量化する。
最後に、dow jones 30構成株のポートフォリオ管理タスクを01/01/2009から09/01/2021までの期間に評価する。
提案手法は,DRLエージェントが機械学習手法よりも強力な多段階予測能力を示すことを示す。
関連論文リスト
- Combining Transformer based Deep Reinforcement Learning with
Black-Litterman Model for Portfolio Optimization [0.0]
モデルフリーのアルゴリズムとして、深層強化学習(DRL)エージェントは、教師なしの方法で環境と対話することで学習し、決定する。
DRLエージェントとBlack-Litterman (BL)モデルを組み合わせたハイブリッドポートフォリオ最適化モデルを提案する。
我々のDRLエージェントは、様々な比較ポートフォリオ選択戦略と代替DRLフレームワークを、累積リターンで少なくとも42%上回っている。
論文 参考訳(メタデータ) (2024-02-23T16:01:37Z) - RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [13.61250415783271]
従来のRLとメタRLを組み合わせた原則的ハイブリッドアプローチであるRL$3$を提案する。
RL$3$は、RL$2$と比較して、長い水平およびアウト・オブ・ディストリビューションのタスクに対してより累積的な報酬を得ることを示す。
論文 参考訳(メタデータ) (2023-06-28T04:16:16Z) - Disentangled Representation Learning [49.90680972116791]
Disentangled Representation Learning (DRL) は、観測可能なデータに隠された基礎的要因を表現形式で識別し、切り離すことができるモデルを学習することを目的としている。
我々は、モチベーション、定義、方法論、評価、アプリケーション、モデルデザインを含む様々な側面からDRLを包括的にレビューする。
論文 参考訳(メタデータ) (2022-11-21T18:14:38Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Normality-Guided Distributional Reinforcement Learning for Continuous
Control [16.324313304691426]
平均戻り値の予測モデル、すなわち値関数の学習は多くの強化学習アルゴリズムにおいて重要な役割を果たす。
本研究では,複数の連続制御タスクにおける値分布について検討し,学習した値分布が正規に非常に近いことを示す。
本稿では,標準値関数に存在しない値分布の構造的特性によって測定された正当性に基づくポリシー更新戦略を提案する。
論文 参考訳(メタデータ) (2022-08-28T02:52:10Z) - An intelligent algorithmic trading based on a risk-return reinforcement
learning algorithm [0.0]
本稿では,改良された深部強化学習アルゴリズムを用いたポートフォリオ最適化モデルを提案する。
提案アルゴリズムはアクター・クリティカル・アーキテクチャに基づいており、クリティカル・ネットワークの主な課題はポートフォリオ累積リターンの分布を学習することである。
Ape-xと呼ばれるマルチプロセスを用いて、深層強化学習訓練の高速化を図る。
論文 参考訳(メタデータ) (2022-08-23T03:20:06Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳(メタデータ) (2022-02-17T02:44:05Z) - MOPO: Model-based Offline Policy Optimization [183.6449600580806]
オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。
既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。
本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
論文 参考訳(メタデータ) (2020-05-27T08:46:41Z) - MOReL : Model-Based Offline Reinforcement Learning [49.30091375141527]
オフライン強化学習(RL)では、環境との歴史的相互作用のデータセットのみに基づく高報酬政策を学習することが目的である。
モデルベースオフラインRLのためのアルゴリズムフレームワークMOReLを提案する。
オフラインRLベンチマークにおいてMOReLが最先端の結果と一致するか,あるいは超えるかを示す。
論文 参考訳(メタデータ) (2020-05-12T17:52:43Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳(メタデータ) (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。