論文の概要: Convex Regularization and Convergence of Policy Gradient Flows under Safety Constraints

• arxiv url: http://arxiv.org/abs/2411.19193v2
• Date: Tue, 16 Sep 2025 14:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 15:46:32.504373
• Title: Convex Regularization and Convergence of Policy Gradient Flows under Safety Constraints
• Title（参考訳）: 安全制約下における政策勾配流の凸規則化と収束性
• Authors: Pekka Malo, Lauri Viitasaari, Antti Suominen, Eeva Vilkkumaa, Olli Tahvonen,
• Abstract要約: 本稿では, ほぼ安全制約のある無限水平決定過程における強化学習について検討する。 本稿では、連続状態-動作空間における安全性制約に対処するために、報酬とパラメータの正則化を組み合わせた二重正規化RLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.14680035572775532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper examines reinforcement learning (RL) in infinite-horizon decision processes with almost-sure safety constraints, crucial for applications like autonomous systems, finance, and resource management. We propose a doubly-regularized RL framework combining reward and parameter regularization to address safety constraints in continuous state-action spaces. The problem is formulated as a convex regularized objective with parametrized policies in the mean-field regime. Leveraging mean-field theory and Wasserstein gradient flows, policies are modeled on an infinite-dimensional statistical manifold, with updates governed by parameter distribution gradient flows. Key contributions include solvability conditions for safety-constrained problems, smooth bounded approximations for gradient flows, and exponential convergence guarantees under sufficient regularization. General regularization conditions, including entropy regularization, support practical particle method implementations. This framework provides robust theoretical insights and guarantees for safe RL in complex, high-dimensional settings.
• Abstract（参考訳）: 本稿では, 自律システム, 金融, 資源管理などのアプリケーションに不可欠な, ほぼ確実に安全を制約した無限水平決定過程における強化学習(RL)について検討する。 本稿では、連続状態-動作空間における安全性制約に対処するために、報酬とパラメータの正則化を組み合わせた二重正規化RLフレームワークを提案する。 この問題は、平均場状態におけるパラメトリケートポリシを備えた凸正規化目的として定式化される。 平均場理論とワッサーシュタイン勾配流を利用して、ポリシーはパラメータ分布勾配流によって支配される無限次元の統計多様体に基づいてモデル化される。 主な貢献は、安全制約問題に対する可解性条件、勾配流に対する滑らかな有界近似、および十分な正則化の下での指数収束保証である。 エントロピー正則化を含む一般的な正則化条件は、実用的な粒子法の実装をサポートする。 このフレームワークは、複雑な高次元の設定において、堅牢な理論的洞察と安全なRLを保証する。

関連論文リスト

• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• A learning-based approach to stochastic optimal control under reach-avoid constraint [7.036452261968767]
  我々は,リーチアビド制約を受けるマルコフ系を最適に制御するためのモデルフリーアプローチを開発する。 適切な仮定の下では、政策パラメータが最適パラメータに収束し、システム軌道が到達不能な制約を高い確率で満たすことが保証される。
  論文  参考訳（メタデータ） (2024-12-21T10:07:40Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 我々の知る限り、これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究であると思われる。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Policy Bifurcation in Safe Reinforcement Learning [35.75059015441807]
  いくつかのシナリオでは、実行可能なポリシーは不連続または多値であり、不連続な局所最適性の間の補間は必然的に制約違反につながる。 我々は,このような現象の発生機構を最初に同定し,安全RLにおける分岐の存在を厳密に証明するためにトポロジカル解析を用いる。 本稿では,ガウス混合分布をポリシ出力として利用するマルチモーダルポリシ最適化(MUPO)と呼ばれる安全なRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-19T15:54:38Z)
• Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning [4.14360329494344]
  強化学習(Reinforcement Learning, RL)は、過去数十年にわたって、幅広い領域で意思決定に革命をもたらした。 しかし、現実のシナリオにRLポリシーをデプロイすることは、安全性を確保する上で重要な課題である。 従来の安全RLアプローチは、事前に定義された安全制約を政策学習プロセスに組み込むことに重点を置いてきた。 本稿では,安全なRL制御ポリシを同時に学習し,その環境の未知の安全制約パラメータを同定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:01:15Z)
• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• Bounded Robustness in Reinforcement Learning via Lexicographic Objectives [54.00072722686121]
  強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。 本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。 本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:53:18Z)
• Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report) [0.0]
  我々は、強化学習(RL)を通して学んだ政策の文脈で、政策の単純化と検証の課題を考える。 未知の環境と学習された離散潜在モデルの間に新しい双シミュレーション境界を導出する。 本稿では、現状のRLを用いて得られたポリシーを用いて、ほぼ正しいバイシミュレーション保証を持つ離散潜在モデルを生成する変分オートエンコーダを効率的に訓練する方法を示す。
  論文  参考訳（メタデータ） (2021-12-17T17:57:32Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。