論文の概要: Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty

• arxiv url: http://arxiv.org/abs/2404.12598v1
• Date: Fri, 19 Apr 2024 03:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 16:24:58.650437
• Title: Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty
• Title（参考訳）: 二次変動ペナルティによる連続的リスク感性強化学習
• Authors: Yanwei Jia,
• Abstract要約: 本稿では,連続時間リスク感応性強化学習(RL)について検討する。 従来の政策勾配表現は2次変動の非線形性に起因するリスク感受性問題には不十分である。 本稿では,メルトンの投資問題に対する提案アルゴリズムの収束性を証明し,学習過程の挙動に対する温度パラメータの影響を定量化する。
• 参考スコア（独自算出の注目度）: 5.710971447109951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies continuous-time risk-sensitive reinforcement learning (RL) under the entropy-regularized, exploratory diffusion process formulation with the exponential-form objective. The risk-sensitive objective arises either as the agent's risk attitude or as a distributionally robust approach against the model uncertainty. Owing to the martingale perspective in Jia and Zhou (2023) the risk-sensitive RL problem is shown to be equivalent to ensuring the martingale property of a process involving both the value function and the q-function, augmented by an additional penalty term: the quadratic variation of the value process, capturing the variability of the value-to-go along the trajectory. This characterization allows for the straightforward adaptation of existing RL algorithms developed for non-risk-sensitive scenarios to incorporate risk sensitivity by adding the realized variance of the value process. Additionally, I highlight that the conventional policy gradient representation is inadequate for risk-sensitive problems due to the nonlinear nature of quadratic variation; however, q-learning offers a solution and extends to infinite horizon settings. Finally, I prove the convergence of the proposed algorithm for Merton's investment problem and quantify the impact of temperature parameter on the behavior of the learning procedure. I also conduct simulation experiments to demonstrate how risk-sensitive RL improves the finite-sample performance in the linear-quadratic control problem.
• Abstract（参考訳）: 本稿では, エントロピー規則化・探索拡散過程の定式化による連続時間リスク感応性強化学習(RL)について検討する。 リスクに敏感な目的は、エージェントのリスク態度またはモデルの不確実性に対して分布的に堅牢なアプローチとして生じる。 2023年のJia と Zhou の Martingale の観点から、リスク感受性 RL 問題は、値関数と q-関数の両方を含む過程の Martingale 特性を、付加的なペナルティ項により強化することと同値であることが示されている。 この特徴付けにより、リスクに敏感なシナリオのために開発された既存のRLアルゴリズムを、バリュープロセスの実際の分散を追加することで、リスク感度を組み込むことができる。 さらに、従来の政策勾配表現は二次変動の非線形性質によるリスク感受性の問題には不適切であるが、q-learningは解を提供し、無限の地平線設定にまで拡張する。 最後に,メルトンの投資問題に対するアルゴリズムの収束性を証明し,学習過程の挙動に対する温度パラメータの影響を定量化する。 また,リスク感応性RLが線形二乗制御問題における有限サンプル性能をどのように改善するかを示すシミュレーション実験を行った。

関連論文リスト

• Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
  本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。 モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-02-28T08:43:18Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Extreme Risk Mitigation in Reinforcement Learning using Extreme Value Theory [10.288413564829579]
  リスク認識の重要な側面は、破滅的な結果をもたらす可能性のある非常に稀なリスクイベント(リワード)をモデル化することである。 リスクを意識したRL手法は存在するが、リスク回避のレベルは状態-作用値関数の推定の精度に大きく依存している。 本研究では、状態-作用値関数分布によって予測される極端な値の予測を精査することに着目し、非常に稀で危険な事象に直面した場合のRLエージェントのレジリエンスを高めることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T18:23:59Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Risk-Sensitive Reinforcement Learning with Exponential Criteria [0.0]
  我々は、堅牢な強化学習ポリシーを定義し、リスクに敏感な強化学習問題を定式化し、それらを近似する。 本稿では,近似更新を用いた乗算ベルマン方程式の解法に基づく新しいオンラインアクター・クリティカルアルゴリズムを提案する。 シミュレーション実験により,提案手法の実装,性能,ロバスト性を評価した。
  論文  参考訳（メタデータ） (2022-12-18T04:44:38Z)
• One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforcement Learning [25.218430053391884]
  両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。 相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。 実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-11-30T21:24:11Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Cautious Reinforcement Learning via Distributional Risk in the Dual Domain [45.17200683056563]
  マルコフ決定過程(MDP)によって定義される強化学習問題において,状態と行動空間が可算有限である場合のリスク感受性ポリシーの推定について検討する。 本稿では,強化学習の線形プログラミング(LP)の2つの目的に付加されるペナルティ関数として,新たなリスク定義を提案する。
  論文  参考訳（メタデータ） (2020-02-27T23:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。