論文の概要: A General Framework on Enhancing Portfolio Management with Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/1911.11880v2
- Date: Fri, 27 Oct 2023 04:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 01:46:09.611238
- Title: A General Framework on Enhancing Portfolio Management with Reinforcement
Learning
- Title(参考訳): 強化学習によるポートフォリオマネジメントの強化に関する一般フレームワーク
- Authors: Yinheng Li, Junhao Wang, Yijie Cao
- Abstract要約: ポートフォリオマネジメントは、リスクプロファイルに対する望ましいリターンを満たすため、金融商品全体の資金と資産の継続的な再配置を懸念している。
深層強化学習(RL)はポートフォリオ管理への関心が高まり、RLエージェントは資産配分プロセスを最適化するために財務データに基づいて訓練されている。
本稿では,資産管理のための一般的なRLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.6985496077087743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portfolio management is the art and science in fiance that concerns
continuous reallocation of funds and assets across financial instruments to
meet the desired returns to risk profile. Deep reinforcement learning (RL) has
gained increasing interest in portfolio management, where RL agents are trained
base on financial data to optimize the asset reallocation process. Though there
are prior efforts in trying to combine RL and portfolio management, previous
works did not consider practical aspects such as transaction costs or short
selling restrictions, limiting their applicability. To address these
limitations, we propose a general RL framework for asset management that
enables continuous asset weights, short selling and making decisions with
relevant features. We compare the performance of three different RL algorithms:
Policy Gradient with Actor-Critic (PGAC), Proximal Policy Optimization (PPO),
and Evolution Strategies (ES) and demonstrate their advantages in a simulated
environment with transaction costs. Our work aims to provide more options for
utilizing RL frameworks in real-life asset management scenarios and can benefit
further research in financial applications.
- Abstract(参考訳): ポートフォリオマネジメント(Portfolio management)は、リスクプロファイルに対する望ましいリターンを満たすため、金融商品全体にわたる資金と資産の継続的な再配置を懸念するフィアンスにおける技術と科学である。
深層強化学習(RL)はポートフォリオ管理への関心が高まり、RLエージェントは資産配分プロセスを最適化するために財務データに基づいて訓練されている。
RLとポートフォリオ管理を組み合わせる努力は以前からあったが、以前の作業では、取引コストや販売制限の短縮といった実践的な側面を考慮せず、適用性に制限があった。
これらの制約に対処するために,我々は,資産管理のための汎用rlフレームワークを提案する。
3つの異なるrlアルゴリズムの性能を比較する: ポリシー勾配とアクター危機(pgac)、近方政策最適化(ppo)、進化戦略(es)であり、トランザクションコストを伴うシミュレーション環境でその利点を実証する。
我々の研究は、実生活の資産管理シナリオでRLフレームワークを利用するための選択肢を増やし、金融アプリケーションにおけるさらなる研究に役立てることを目的としています。
関連論文リスト
- ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。
我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。
実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-29T18:45:56Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - Combining Transformer based Deep Reinforcement Learning with
Black-Litterman Model for Portfolio Optimization [0.0]
モデルフリーのアルゴリズムとして、深層強化学習(DRL)エージェントは、教師なしの方法で環境と対話することで学習し、決定する。
DRLエージェントとBlack-Litterman (BL)モデルを組み合わせたハイブリッドポートフォリオ最適化モデルを提案する。
我々のDRLエージェントは、様々な比較ポートフォリオ選択戦略と代替DRLフレームワークを、累積リターンで少なくとも42%上回っている。
論文 参考訳(メタデータ) (2024-02-23T16:01:37Z) - Onflow: an online portfolio allocation algorithm [0.0]
ポートフォリオ割り当てポリシーのオンライン最適化を可能にする強化学習手法であるOnflowを紹介する。
ログ正規資産の場合、トランザクションコストがゼロのOnflowが学んだ戦略は、Markowitzの最適ポートフォリオを模倣している。
オンフローは、他の動的アロケーション技術がもはや機能しないレギュレーションにおいて、効率的であり続けることができる。
論文 参考訳(メタデータ) (2023-12-08T16:49:19Z) - Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。
本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
論文 参考訳(メタデータ) (2022-10-06T20:28:55Z) - Policy Gradient for Reinforcement Learning with General Utilities [50.65940899590487]
強化学習(Reinforcement Learning, RL)では、エージェントの目標は、期待される累積報酬を最大化する最適なポリシーを見つけることである。
教師なしと教師なしのRL問題の多くは、LLフレームワークには含まれていない。
一般ユーティリティによるRLのポリシー勾配定理を導出する。
論文 参考訳(メタデータ) (2022-10-03T14:57:46Z) - Model-Free Reinforcement Learning for Asset Allocation [0.0]
本研究では, モデルフリー深部RLエージェントを用いたポートフォリオ管理における強化学習の性能について検討した。
実物価格で複数のRLエージェントを訓練し、アセットアロケーションの実施方法を学びました。
4つのRL剤(A2C, SAC, PPO, TRPO)は総じてMPTを上回った。
論文 参考訳(メタデータ) (2022-09-21T16:00:24Z) - MetaTrader: An Reinforcement Learning Approach Integrating Diverse
Policies for Portfolio Optimization [17.759687104376855]
ポートフォリオ管理のための新しい2段階的アプローチを提案する。
最初の段階では、強化学習フレームワークに模倣学習を組み込む。
第2段階では、メタ政治を学び、市場状況を認識し、従うべき最も適切な学習方針を決定する。
論文 参考訳(メタデータ) (2022-09-01T07:58:06Z) - Reinforcement Learning with Intrinsic Affinity for Personalized Asset
Management [0.0]
我々は,戦略がグローバルな本質的な親和性を持つことを保証する正規化手法を開発した。
私たちは、本質的な親和性を利用して、本質的な解釈を可能にします。
我々は、RLエージェントが特定のパーソナリティプロファイルに対する個々のポリシーを編成し、高いリターンを達成するためにどのように訓練できるかを実証する。
論文 参考訳(メタデータ) (2022-04-20T04:33:32Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳(メタデータ) (2022-02-14T01:31:46Z) - Reinforcement-Learning based Portfolio Management with Augmented Asset
Movement Prediction States [71.54651874063865]
ポートフォリオマネジメント(PM)は、最大利益や最小リスクといった投資目標を達成することを目的としている。
本稿では,PMのための新しいステート拡張RLフレームワークであるSARLを提案する。
当社の枠組みは, 金融PMにおける2つのユニークな課題に対処することを目的としている。(1) データの異種データ -- 資産毎の収集情報は通常, 多様性, ノイズ, 不均衡(ニュース記事など), (2) 環境の不確実性 -- 金融市場は多様で非定常である。
論文 参考訳(メタデータ) (2020-02-09T08:10:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。