論文の概要: Risk-Sensitive Q-Learning in Continuous Time with Application to Dynamic Portfolio Selection
- arxiv url: http://arxiv.org/abs/2512.02386v1
- Date: Tue, 02 Dec 2025 03:54:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.709146
- Title: Risk-Sensitive Q-Learning in Continuous Time with Application to Dynamic Portfolio Selection
- Title（参考訳）: リスク感性Q-Learningと動的ポートフォリオ選択への応用
- Authors: Chuhan Xie,
- Abstract要約: 関数が最適化された確実性同値 (OCE) であるとき、最適ポリシーは拡張環境に関してマルコフ的であることを証明している。
また,リスクに敏感なq-ラーニングアルゴリズムであるtextitCT-RS-q も提案する。
- 参考スコア（独自算出の注目度）: 2.8766374696553823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the problem of risk-sensitive reinforcement learning (RSRL) in continuous time, where the environment is characterized by a controllable stochastic differential equation (SDE) and the objective is a potentially nonlinear functional of cumulative rewards. We prove that when the functional is an optimized certainty equivalent (OCE), the optimal policy is Markovian with respect to an augmented environment. We also propose \textit{CT-RS-q}, a risk-sensitive q-learning algorithm based on a novel martingale characterization approach. Finally, we run a simulation study on a dynamic portfolio selection problem and illustrate the effectiveness of our algorithm.
- Abstract（参考訳）: 本稿では,リスク感応性強化学習(RSRL)の環境特性を制御可能な確率微分方程式(SDE)により評価し,その目的が累積報酬の非線形関数であることを示す。
関数が最適化された確実性同値 (OCE) であるとき、最適ポリシーは拡張環境に関してマルコフ的であることを証明している。
また,リスクに敏感なq-ラーニングアルゴリズムである「textit{CT-RS-q}」を提案する。
最後に、動的ポートフォリオ選択問題に関するシミュレーション研究を行い、アルゴリズムの有効性について説明する。
関連論文リスト
- Risk-sensitive Reinforcement Learning Based on Convex Scoring Functions [8.758206783988404]
コンベックススコアリング機能を特徴とする多種多様なリスク目標に基づく強化学習フレームワークを提案する。
このクラスは、分散、期待不足、エントロピックなバリュー・アット・リスク、平均リスクユーティリティなど、多くの一般的なリスク対策をカバーしている。
我々は,統計的仲裁取引における金融的応用によるシミュレーション実験におけるアプローチの有効性を検証し,アルゴリズムの有効性を実証する。
論文 参考訳（メタデータ） (2025-05-07T16:31:42Z) - Efficient Risk-sensitive Planning via Entropic Risk Measures [51.42922439693624]
動的プログラミングにより,エントロピーリスク対策(EntRM)のみを効率的に最適化できることを示す。
エントロピーリスクの新たな構造解析と滑らかさ特性により, この最適性を効果的に計算できることを実証する。
論文 参考訳（メタデータ） (2025-02-27T09:56:51Z) - Robust Reinforcement Learning with Dynamic Distortion Risk Measures [0.0]
我々は、堅牢なリスク対応強化学習問題を解決するための枠組みを考案した。
我々は, 環境の不確実性とリスクを, 動的に頑健な歪みリスク対策のクラスで同時に考慮する。
本研究では,リスクを意識したRL問題の解法としてアクター批判アルゴリズムを構築した。
論文 参考訳（メタデータ） (2024-09-16T08:54:59Z) - Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。
実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
論文 参考訳（メタデータ） (2023-11-05T12:03:58Z) - Reinforcement Learning with Dynamic Convex Risk Measures [0.0]
モデルレス強化学習(RL)を用いた時間一貫性リスク感応的最適化問題の解法を開発する。
我々は、時間一貫性のある動的プログラミング原則を用いて、特定のポリシーの価値を決定し、ポリシー勾配更新ルールを開発する。
論文 参考訳（メタデータ） (2021-12-26T16:41:05Z) - SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。
我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。
アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文 参考訳（メタデータ） (2020-06-12T10:40:46Z) - Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。
提案アルゴリズムの有効性はCart-Pole環境で検証する。
論文 参考訳（メタデータ） (2020-06-01T13:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。