論文の概要: Entropy-Regularized Reinforcement Learning for the Regime-Switching Consumption-Investment Problem
- arxiv url: http://arxiv.org/abs/2611.01046v1
- Date: Sat, 31 Oct 2026 15:37:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 08:24:46.591149
- Title: Entropy-Regularized Reinforcement Learning for the Regime-Switching Consumption-Investment Problem
- Title（参考訳）: エントロピー規則化強化学習によるRegime-Switching Consumption-Investment問題
- Abstract要約: 本稿では, 連続的消費・投資問題に対するエントロピー規則化強化学習の枠組みを確立する。
最適な探索的消費と投資戦略のためのクローズドフォーム表現を導出する。
アルゴリズム設計のために、我々は新しい連続時間q-関数に基づく連続時間q-ラーニングフレームワークを開発した。
- 参考スコア（独自算出の注目度）: 2.0891630191146886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper establishes an entropy-regularized reinforcement learning (ERRL) framework for the continuous-time consumption-investment problem under a regime-switching market model with general utility functions. By incorporating randomized exploratory policies and Shannon entropy regularization into the stochastic optimal control formulation, we derive closed-form representations for the optimal exploratory consumption and investment strategies. Specifically, the optimal investment strategy follows a multivariate Gaussian distribution, whereas the optimal consumption strategy takes the form of a Gibbs measure---which specializes to a Gamma distribution under logarithmic utility and a non-standard exponential distribution under power utility. Crucially, our theoretical analysis reveals that the classical deterministic optimal decisions correspond to the mode---rather than the mean---of these exploratory distributions. Furthermore, we establish the convergence of the exploratory value function to its classical unregularized counterpart as the temperature parameter vanishes. For algorithmic design, we develop a continuous-time q-learning framework grounded in a novel continuous-time q-function, prove the policy improvement theorem, and establish martingale characterizations for both on-policy and off-policy learning. We find that parameterizing the actor network based on theoretical distribution families can help accelerate convergence and enhance numerical stability. Furthermore, numerical experiments across regime-switching environments provide empirical support for our theoretical findings, demonstrating stable loss convergence as well as the monotonicity and concavity of the learned value functions.
- Abstract（参考訳）: 本稿では, 汎用機能を備えたレシシブスイッチング市場モデルの下で, 連続的消費・投資問題に対するエントロピー規則化強化学習(ERRL)フレームワークを確立する。
ランダム化探索ポリシーとシャノンエントロピー正規化を確率的最適制御定式化に組み込むことにより、最適な探索的消費と投資戦略のための閉形式表現を導出する。
具体的には、最適投資戦略は多変量ガウス分布に従うが、最適消費戦略はギブス測度(Gibs measure)の形をとる。
理論的には、古典的決定論的最適決定は、平均よりも、--------の探索分布と一致している。
さらに、温度パラメータが消えるにつれて、探索値関数の古典的非正規化関数への収束を確立する。
アルゴリズム設計のために,新しい連続時間q-関数に基づく連続時間q-ラーニングフレームワークを開発し,政策改善定理を証明し,オン・ポリティクスとオフ・ポリティクスの両学習のためのマーチンゲール特性を確立する。
理論分布列に基づくアクターネットワークのパラメータ化は,収束を加速し,数値安定性を高めるのに役立つ。
さらに、システミックスイッチング環境における数値実験は、学習値関数の単調性や凹凸性だけでなく、安定した損失収束を実証し、理論的な発見を実証的に支援する。
関連論文リスト
- Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs [2.574071344130061]
マルコフ決定過程における指数効用最適化のための強化学習(RL)は、原則的値ベースアルゴリズムを欠いている。
2つのQ値型拡張を導出し、関連する作用素が$L_infty$とsup-log/Thompsonメトリクスの縮約であることを示す。
我々は、時間スケールの分離により、ほぼ全周収束を確立し、有限時間収束率を与えるとともに、サブ線形パワーロー演算子によって制御される1時間スケールのアルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-05-08T17:41:48Z) - Maximum Entropy Exploration Without the Rollouts [5.008597638379228]
探索問題の原則的反復は、誘導定常訪問分布のエントロピーを最大化するポリシーを見つけることである。
本研究では,訪問分布自体から報酬が導出される本質的な平均回帰を考えることにより,最適ポリシが定常エントロピーを最大化する。
この知見は、明示的なロールアウトと分布推定を避けるために、最大エントロピー探索問題の解法であるEVEに導かれる。
論文 参考訳（メタデータ） (2026-03-12T18:00:03Z) - Continuous-time reinforcement learning for optimal switching over multiple regimes [5.045537244224327]
本稿では,複数局にわたる最適切換問題に対する連続時間強化学習(RL)について検討する。
ハミルトン・ヤコビ・ベルマン方程式の関連する系を適切に設定し、最適政策の特徴づけを与える。
マルティンゲールの特徴に基づく政策評価を呼び起こして、強化学習アルゴリズムを考案し、実装する。
論文 参考訳（メタデータ） (2025-12-04T11:48:07Z) - Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning [54.07840818762834]
拡散モデルによる条件決定生成は強化学習(RL)において強力な競争力を示す。
近年の研究では、エネルギー-関数-誘導拡散モデルと制約付きRL問題との関係が明らかにされている。
主な課題は中間エネルギーを推定することであり、これは生成過程における対数予測の定式化によって引き起こされる。
論文 参考訳（メタデータ） (2025-05-03T14:00:25Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Semiparametric Counterfactual Regression [2.356908851188234]
一般化可能なフレームワーク内での非実効的回帰のための2つの頑健なスタイル推定器を提案する。
当社のアプローチでは,標準手法を維持しながら適応性を高めるために,漸進的な介入を用いる。
解析の結果,提案した推定器は幅広い問題に対して$sqrn$-consistencyと正規性が得られることがわかった。
論文 参考訳（メタデータ） (2025-04-03T15:32:26Z) - Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。
一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。
本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文 参考訳（メタデータ） (2024-05-03T16:45:15Z) - Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。
モデルに基づくベイズ強化学習の観点から問題を考察する。
本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文 参考訳（メタデータ） (2023-08-12T14:59:19Z) - Policy Mirror Descent for Regularized Reinforcement Learning: A
Generalized Framework with Linear Convergence [60.20076757208645]
本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。
我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
論文 参考訳（メタデータ） (2021-05-24T02:21:34Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。