論文の概要: Explainable Post hoc Portfolio Management Financial Policy of a Deep Reinforcement Learning agent

• arxiv url: http://arxiv.org/abs/2407.14486v1
• Date: Fri, 19 Jul 2024 17:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 16:35:50.900174
• Title: Explainable Post hoc Portfolio Management Financial Policy of a Deep Reinforcement Learning agent
• Title（参考訳）: 深層強化学習エージェントの具体的ポストホックポートフォリオ管理金融政策
• Authors: Alejandra de la Rica Escudero, Eduardo C. Garrido-Merchan, Maria Coronado-Vaca,
• Abstract要約: 我々はポートフォリオ管理のための新しい説明可能な深層強化学習(XDRL)アプローチを開発した。 方法論を実践することにより、エージェントの行動を予測する時間内に解釈し、投資政策の要件に従うかどうかを評価することができる。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Financial portfolio management investment policies computed quantitatively by modern portfolio theory techniques like the Markowitz model rely on a set on assumptions that are not supported by data in high volatility markets. Hence, quantitative researchers are looking for alternative models to tackle this problem. Concretely, portfolio management is a problem that has been successfully addressed recently by Deep Reinforcement Learning (DRL) approaches. In particular, DRL algorithms train an agent by estimating the distribution of the expected reward of every action performed by an agent given any financial state in a simulator. However, these methods rely on Deep Neural Networks model to represent such a distribution, that although they are universal approximator models, they cannot explain its behaviour, given by a set of parameters that are not interpretable. Critically, financial investors policies require predictions to be interpretable, so DRL agents are not suited to follow a particular policy or explain their actions. In this work, we developed a novel Explainable Deep Reinforcement Learning (XDRL) approach for portfolio management, integrating the Proximal Policy Optimization (PPO) with the model agnostic explainable techniques of feature importance, SHAP and LIME to enhance transparency in prediction time. By executing our methodology, we can interpret in prediction time the actions of the agent to assess whether they follow the requisites of an investment policy or to assess the risk of following the agent suggestions. To the best of our knowledge, our proposed approach is the first explainable post hoc portfolio management financial policy of a DRL agent. We empirically illustrate our methodology by successfully identifying key features influencing investment decisions, which demonstrate the ability to explain the agent actions in prediction time.
• Abstract（参考訳）: マークウィッツモデルのような現代のポートフォリオ理論技術によって定量的に計算された金融ポートフォリオ管理投資政策は、高ボラティリティ市場におけるデータによって支持されない仮定のセットに依存している。 そのため、定量的研究者はこの問題に対処するための代替モデルを探している。 具体的には、ポートフォリオ管理は、最近Deep Reinforcement Learning (DRL)アプローチによってうまく対処された問題である。 特に、DRLアルゴリズムは、シミュレータに財務状態が与えられたエージェントによって実行されるすべてのアクションの期待される報酬の分布を推定することによってエージェントを訓練する。 しかし、これらの手法は、そのような分布を表現するためにディープニューラルネットワークモデルに依存しており、それらは普遍近似モデルであるにもかかわらず、解釈できないパラメータの集合によって与えられるその振る舞いを説明できない。 批判的に、金融投資家の政策は予測を解釈する必要があるため、DRLエージェントは特定の政策に従うのに適していない。 本研究では、ポートフォリオ管理のための新しい説明可能な深層強化学習(XDRL)アプローチを開発し、PPO(Proximal Policy Optimization)と、特徴重要度に関するモデルに依存しない説明可能な技術であるSHAPとLIMEを統合し、予測時間の透明性を高める。 提案手法の実施により、エージェントの行動予測時に、投資政策の要件に従うか、あるいはエージェントの提案に従うリスクを評価することができる。 我々の知る限り、提案手法はDRLエージェントのポートフォリオ管理金融政策を初めて説明できるものである。 本研究では,投資決定に影響を及ぼす重要な特徴の同定に成功し,予測時間におけるエージェントの動作を説明する能力について実証的に説明する。

関連論文リスト

• VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
  VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。 我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments [55.19252983108372]
  LLMによって駆動される、StockAgentと呼ばれるマルチエージェントAIシステムを開発した。 StockAgentを使えば、ユーザーはさまざまな外部要因が投資家取引に与える影響を評価することができる。 AIエージェントに基づく既存のトレーディングシミュレーションシステムに存在するテストセットのリーク問題を回避する。
  論文  参考訳（メタデータ） (2024-07-15T06:49:30Z)
• Combining Transformer based Deep Reinforcement Learning with Black-Litterman Model for Portfolio Optimization [0.0]
  モデルフリーのアルゴリズムとして、深層強化学習(DRL)エージェントは、教師なしの方法で環境と対話することで学習し、決定する。 DRLエージェントとBlack-Litterman (BL)モデルを組み合わせたハイブリッドポートフォリオ最適化モデルを提案する。 我々のDRLエージェントは、様々な比較ポートフォリオ選択戦略と代替DRLフレームワークを、累積リターンで少なくとも42%上回っている。
  論文  参考訳（メタデータ） (2024-02-23T16:01:37Z)
• Diffusion Variational Autoencoder for Tackling Stochasticity in Multi-Step Regression Stock Price Prediction [54.21695754082441]
  長期的地平線上での多段階の株価予測は、ボラティリティの予測に不可欠である。 多段階の株価予測に対する現在の解決策は、主に単一段階の分類に基づく予測のために設計されている。 深層階層型変分オートコーダ(VAE)と拡散確率的手法を組み合わせてセック2seqの株価予測を行う。 本モデルでは, 予測精度と分散性の観点から, 最先端の解よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T16:21:15Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Deep Reinforcement Learning Approach for Trading Automation in The Stock Market [0.0]
  本稿では,Deep Reinforcement Learning (DRL)アルゴリズムを用いて,株式市場における収益性取引を生成するモデルを提案する。 我々は、市場が課す制約を考慮して、部分的に観測されたマルコフ決定プロセス(POMDP)モデルとして取引問題を定式化する。 次に, Twin Delayed Deep Deterministic Policy Gradient (TD3) アルゴリズムを用いて, 2.68 Sharpe Ratio を未知のデータセットに報告し, 定式化した POMDP 問題を解く。
  論文  参考訳（メタデータ） (2022-07-05T11:34:29Z)
• Explainable Deep Reinforcement Learning for Portfolio Management: An Empirical Approach [30.283740528236752]
  ディープニューラルネットワークのブラックボックスの性質のため、DRLベースのトレーディング戦略を理解するのは難しい。 ポートフォリオ管理タスクにおけるDRLエージェントの戦略を説明するための実証的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-07T04:23:48Z)
• Learning Risk Preferences from Investment Portfolios Using Inverse Optimization [25.19470942583387]
  本稿では,既存ポートフォリオからのリスク嗜好を逆最適化を用いて測定する手法を提案する。 我々は、20年間の資産価格と10年間の相互ファンドポートフォリオ保有からなる実市場データについて、本手法を実証する。
  論文  参考訳（メタデータ） (2020-10-04T21:29:29Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。