論文の概要: Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2404.10683v1
- Date: Tue, 16 Apr 2024 16:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 16:14:57.615391
- Title: Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
- Title（参考訳）: 強化学習におけるポートフォリオ配置制約の簡易解法
- Authors: David Winkel, Niklas Strauß, Matthias Schubert, Thomas Seidl,
- Abstract要約: 本稿では,制約作用空間を非制約配置問題に分解した上で,アロケーション制約に対処する新しい手法を提案する。
本稿では、タスクのアクション空間が分解されたアクション空間と等価であることを示し、新しい強化学習(RL)アプローチCAOSDを導入する。
- 参考スコア（独自算出の注目度）: 4.1573460459258245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portfolio optimization tasks describe sequential decision problems in which the investor's wealth is distributed across a set of assets. Allocation constraints are used to enforce minimal or maximal investments into particular subsets of assets to control for objectives such as limiting the portfolio's exposure to a certain sector due to environmental concerns. Although methods for constrained Reinforcement Learning (CRL) can optimize policies while considering allocation constraints, it can be observed that these general methods yield suboptimal results. In this paper, we propose a novel approach to handle allocation constraints based on a decomposition of the constraint action space into a set of unconstrained allocation problems. In particular, we examine this approach for the case of two constraints. For example, an investor may wish to invest at least a certain percentage of the portfolio into green technologies while limiting the investment in the fossil energy sector. We show that the action space of the task is equivalent to the decomposed action space, and introduce a new reinforcement learning (RL) approach CAOSD, which is built on top of the decomposition. The experimental evaluation on real-world Nasdaq-100 data demonstrates that our approach consistently outperforms state-of-the-art CRL benchmarks for portfolio optimization.
- Abstract（参考訳）: ポートフォリオ最適化タスクは、投資家の富が一連の資産に分散するシーケンシャルな決定問題を記述します。
割り当て制限は、環境問題によるポートフォリオの特定のセクターへの露出を制限するなどの目的のために、資産の特定のサブセットに対する最小限または最大限の投資を強制するために使用される。
制約強化学習(CRL)の手法は、割り当て制約を考慮しながらポリシーを最適化することができるが、これらの一般的な手法が準最適結果をもたらすことが観察できる。
本稿では,制約作用空間を非制約の割り当て問題に分解した上で,アロケーション制約に対処する新しい手法を提案する。
特に,2つの制約の場合のこのアプローチについて検討する。
例えば、投資家は、化石エネルギーセクターへの投資を制限しながら、ポートフォリオの少なくとも一部をグリーンテクノロジーに投資したいと考えるかもしれない。
タスクのアクション空間は分解されたアクション空間と等価であることを示し、分解の上に構築された新しい強化学習(RL)アプローチCAOSDを導入する。
実世界のNasdaq-100データに対する実験的評価は,ポートフォリオ最適化のための最先端CRLベンチマークを一貫して上回っていることを示す。
関連論文リスト
- Autoregressive Policy Optimization for Constrained Allocation Tasks [4.316765170255551]
本稿では,各エンティティのアロケーションを逐次サンプリングする自己回帰プロセスに基づく制約付きアロケーションタスクの新しい手法を提案する。
さらに, 逐次サンプリングによる初期バイアスに対処する新しい脱バイアス機構を提案する。
論文 参考訳（メタデータ） (2024-09-27T13:27:15Z) - Resilient Constrained Reinforcement Learning [87.4374430686956]
本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。
報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。
我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-28T18:28:23Z) - Sparse Index Tracking: Simultaneous Asset Selection and Capital Allocation via $\ell_0$-Constrained Portfolio [7.5684339230894135]
スパースポートフォリオは、取引コストの削減と不正資産の回避の観点から、完全なポートフォリオよりも好ましい。
本稿では,$ell_p$-norm制約を用いたスパースインデックストラッキングの新しい問題式を提案する。
当社のアプローチでは、ポートフォリオとターンオーバースペースの制約を選択でき、再バランス間隔毎にアセット更新を制限することで、トランザクションコストをさらに削減します。
論文 参考訳（メタデータ） (2023-07-22T04:47:30Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Quantization for decentralized learning under subspace constraints [61.59416703323886]
エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。
本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。
この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
論文 参考訳（メタデータ） (2022-09-16T09:38:38Z) - Financial Index Tracking via Quantum Computing with Cardinality
Constraints [1.3854111346209868]
実世界の資産管理において重要な非線形濃度制約を量子ポートフォリオに適用する方法を実証する。
提案手法を応用して,イノベーティブな問題指標追跡ポートフォリオを作成する。
論文 参考訳（メタデータ） (2022-08-24T08:59:19Z) - COptiDICE: Offline Constrained Reinforcement Learning via Stationary
Distribution Correction Estimation [73.17078343706909]
オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。
定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。
我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
論文 参考訳（メタデータ） (2022-04-19T15:55:47Z) - Comparing Classical-Quantum Portfolio Optimization with Enhanced
Constraints [0.0]
ポートフォリオ最適化問題に基本的な分析を加え、選択したバランスシートのメトリクスに基づいて資産固有の制約とグローバルな制約を追加する方法について述べる。
我々は、D-Waveの量子プロセッサを用いて、そのような問題を解決するための最先端のアルゴリズムを解析し、商用で利用可能な最適化ソフトウェアで得られるソリューションの品質を比較した。
論文 参考訳（メタデータ） (2022-03-09T17:46:32Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳（メタデータ） (2022-02-14T01:31:46Z) - Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks [59.419152768018506]
最適ポリシーは必ずk-SP制約を満たすことを示す。
本研究では,SP制約に違反するポリシーを完全に排除する代わりに,新たなコスト関数を提案する。
また,MiniGrid,DeepMind Lab,Atari,Fetchを用いた実験の結果,提案手法はPPOを著しく改善することが示された。
論文 参考訳（メタデータ） (2021-07-13T21:39:21Z) - A General Framework on Enhancing Portfolio Management with Reinforcement
Learning [3.6985496077087743]
ポートフォリオマネジメントは、リスクプロファイルに対する望ましいリターンを満たすため、金融商品全体の資金と資産の継続的な再配置を懸念している。
深層強化学習(RL)はポートフォリオ管理への関心が高まり、RLエージェントは資産配分プロセスを最適化するために財務データに基づいて訓練されている。
本稿では,資産管理のための一般的なRLフレームワークを提案する。
論文 参考訳（メタデータ） (2019-11-26T23:41:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。