論文の概要: Exploratory Optimal Stopping: A Singular Control Formulation

• arxiv url: http://arxiv.org/abs/2408.09335v2
• Date: Wed, 2 Oct 2024 13:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 07:07:05.234832
• Title: Exploratory Optimal Stopping: A Singular Control Formulation
• Title（参考訳）: 探索的最適停止:特異制御の定式化
• Authors: Jodi Dianetti, Giorgio Ferrari, Renyuan Xu,
• Abstract要約: 強化学習の観点から,連続時間と状態空間の最適停止問題について検討する。 乱数停止時間の累積残エントロピーをペナル化することにより、問題の正規化版を導入する。 実オプション問題の特定の場合には、正規化問題に対する半明示的な解を導出する。
• 参考スコア（独自算出の注目度）: 2.7309692684728613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores continuous-time and state-space optimal stopping problems from a reinforcement learning perspective. We begin by formulating the stopping problem using randomized stopping times, where the decision maker's control is represented by the probability of stopping within a given time--specifically, a bounded, non-decreasing, c\`adl\`ag control process. To encourage exploration and facilitate learning, we introduce a regularized version of the problem by penalizing it with the cumulative residual entropy of the randomized stopping time. The regularized problem takes the form of an (n+1)-dimensional degenerate singular stochastic control with finite-fuel. We address this through the dynamic programming principle, which enables us to identify the unique optimal exploratory strategy. For the specific case of a real option problem, we derive a semi-explicit solution to the regularized problem, allowing us to assess the impact of entropy regularization and analyze the vanishing entropy limit. Finally, we propose a reinforcement learning algorithm based on policy iteration. We show both policy improvement and policy convergence results for our proposed algorithm.
• Abstract（参考訳）: 本稿では,強化学習の観点から,連続時間と状態空間の最適停止問題について検討する。 まず、ランダムな停止時間を用いて停止問題を定式化し、決定者の制御を与えられた時間内に停止する確率で表す。 探索の促進と学習の促進を目的として,ランダム化された停止時間の累積残エントロピーを用いて,問題の正規化版を導入する。 正規化問題は、有限燃料による(n+1)次元退化特異確率制御の形を取る。 動的プログラミングの原理によってこの問題に対処し、ユニークな探索戦略を特定できる。 実オプション問題の特定の場合には、正規化問題に対する半明示的な解を導出し、エントロピー正則化の影響を評価し、消滅するエントロピー極限を分析する。 最後に,政策反復に基づく強化学習アルゴリズムを提案する。 本稿では,提案アルゴリズムの政策改善と政策収束結果について述べる。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Randomized algorithms and PAC bounds for inverse reinforcement learning in continuous spaces [47.907236421762626]
  本研究は、連続状態と作用空間を持つ離散時間割引マルコフ決定過程を研究する。 まず、専門家の政策全体にアクセスでき、逆問題に対する解決策の集合を特徴づけるケースについて考察する。
  論文  参考訳（メタデータ） (2024-05-24T12:53:07Z)
• Truly No-Regret Learning in Constrained MDPs [61.78619476991494]
  未知のCMDPで学習するモデルベース原始双対アルゴリズムを提案する。 提案アルゴリズムは,誤差のキャンセルを伴わずにサブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2024-02-24T09:47:46Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Optimal scheduling of entropy regulariser for continuous-time linear-quadratic reinforcement learning [9.779769486156631]
  ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。 この探索-探索トレードオフはエントロピー正則化の強さによって決定される。 どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
  論文  参考訳（メタデータ） (2022-08-08T23:36:40Z)
• Linear convergence of a policy gradient method for finite horizon continuous time stochastic control problems [3.7971225066055765]
  本稿では,一般連続時空制御問題に対する確率収束勾配法を提案する。 アルゴリズムは制御点に線形に収束し、ステップごとのポリシーに対して安定であることを示す。
  論文  参考訳（メタデータ） (2022-03-22T14:17:53Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Conservative Distributional Reinforcement Learning with Safety Constraints [22.49025480735792]
  安全探索は、期待される長期コストが制約されるマルコフ決定問題とみなすことができる。 従来の非政治アルゴリズムは、制約付き最適化問題をラグランジアン緩和手法を導入して、対応する制約なしの双対問題に変換する。 本稿では,ポストリオ政策最適化による保守的分布最大化という,非政治的強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-18T19:45:43Z)
• Optimization Issues in KL-Constrained Approximate Policy Iteration [48.24321346619156]
  多くの強化学習アルゴリズムは、近似ポリシー反復(API)のバージョンと見なすことができる。 標準APIはしばしば動作が悪いが、KL-divergenceによる各ポリシー更新を以前のポリシーに正規化することで学習が安定化できることが示されている。 TRPO、MPO、VMPOなどの一般的な実用的なアルゴリズムは、連続ポリシーのKL分割に関する制約によって正規化を置き換える。
  論文  参考訳（メタデータ） (2021-02-11T19:35:33Z)
• Continuous-Time Multi-Armed Bandits with Controlled Restarts [32.63624728528415]
  時間制約決定過程に対する再起動制御による帯域幅問題について検討する。 特に、各決定がランダムな完了時間を要し、最後にランダムで相関した報酬が得られるような帯域設定を考える。 我々は,再起動戦略の有限かつ連続的な行動空間において,$O(log(tau))$と$O(sqrttaulog(tau))$後悔を用いて効率的なオンライン学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2020-06-30T19:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。