論文の概要: Feasible Policy Iteration for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2304.08845v3
• Date: Thu, 13 Mar 2025 09:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:48:59.172912
• Title: Feasible Policy Iteration for Safe Reinforcement Learning
• Title（参考訳）: 安全な強化学習のための有用な政策イテレーション
• Authors: Yujie Yang, Zhilong Zheng, Shengbo Eben Li, Wei Xu, Jingjing Liu, Xianyuan Zhan, Ya-Qin Zhang,
• Abstract要約: 現実世界の制御問題に強化学習(RL)アルゴリズムを適用する場合、安全性が最優先事項である。 安全なRLのための基本的な動的プログラミングアルゴリズムであるFPI(Fasible Policy iteration)を提案する。 実験により,FPIは低次元タスクに対する厳密な制約違反を達成できることが示された。
• 参考スコア（独自算出の注目度）: 29.662547846929847
• License:
• Abstract: Safety is the priority concern when applying reinforcement learning (RL) algorithms to real-world control problems. While policy iteration provides a fundamental algorithm for standard RL, an analogous theoretical algorithm for safe RL remains absent. In this paper, we propose feasible policy iteration (FPI), the first foundational dynamic programming algorithm for safe RL. FPI alternates between policy evaluation, region identification and policy improvement. This follows actor-critic-scenery (ACS) framework where scenery refers to a feasibility function that represents a feasible region. A region-wise update rule is developed for the policy improvement step, which maximizes state-value function inside the feasible region and minimizes feasibility function outside it. With this update rule, FPI guarantees monotonic expansion of feasible region, monotonic improvement of state-value function, and geometric convergence to the optimal safe policy. Experimental results demonstrate that FPI achieves strictly zero constraint violation on low-dimensional tasks and outperforms existing methods in constraint adherence and reward performance on high-dimensional tasks.
• Abstract（参考訳）: 現実世界の制御問題に強化学習(RL)アルゴリズムを適用する場合、安全性が最優先事項である。 ポリシー反復は標準RLの基本的なアルゴリズムを提供するが、安全なRLのための類似した理論的アルゴリズムはいまだに存在しない。 本稿では,安全なRLのための基本動的プログラミングアルゴリズムであるFPIを提案する。 FPIは、政策評価、地域識別、政策改善を交互に行う。 これはアクター・クリティカル・シーンリー(ACS)の枠組みに従っており、シーンは実現可能な領域を表す実現可能性関数を指す。 政策改善ステップに対して、実現可能な領域内の状態値関数を最大化し、その外部の実現可能性関数を最小化する領域ワイズ更新ルールを開発する。 この更新規則により、FPIは実現可能な領域の単調展開、状態値関数の単調改善、最適安全ポリシーへの幾何収束を保証する。 実験の結果、FPIは低次元タスクに対する厳密な制約違反を達成し、高次元タスクに対する制約順守と報酬性能において既存の手法より優れることが示された。

関連論文リスト

• Convergence of Policy Mirror Descent Beyond Compatible Function Approximation [66.4260157478436]
  我々は,より弱い変動支配を前提とした理論的PMD一般政策クラスを開発し,最良クラス政策への収束を得る。 我々の主観念は、占有度-勾配測度によって誘導される局所ノルムによって誘導される新しい概念を活用する。
  論文  参考訳（メタデータ） (2025-02-16T08:05:46Z)
• Policy Bifurcation in Safe Reinforcement Learning [35.75059015441807]
  いくつかのシナリオでは、実行可能なポリシーは不連続または多値であり、不連続な局所最適性の間の補間は必然的に制約違反につながる。 我々は,このような現象の発生機構を最初に同定し,安全RLにおける分岐の存在を厳密に証明するためにトポロジカル解析を用いる。 本稿では,ガウス混合分布をポリシ出力として利用するマルチモーダルポリシ最適化(MUPO)と呼ばれる安全なRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-19T15:54:38Z)
• Supported Trust Region Optimization for Offline Reinforcement Learning [59.43508325943592]
  本稿では,行動方針の支持範囲内で制約された政策を用いて信頼地域政策の最適化を行う,信頼地域最適化(STR)を提案する。 近似やサンプリング誤差を仮定すると、STRはデータセットの最適サポート制約ポリシーに収束するまで厳密なポリシー改善を保証する。
  論文  参考訳（メタデータ） (2023-11-15T13:16:16Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Provably Convergent Policy Optimization via Metric-aware Trust Region Methods [21.950484108431944]
  信頼領域法は、強化学習における政策最適化の安定化に広く用いられている。 我々は、より柔軟なメトリクスを活用し、ワッサーシュタインとシンクホーンの信頼領域によるポリシー最適化の2つの自然な拡張について検討する。 WPOは単調な性能向上を保証し、SPOはエントロピー正則化器が減少するにつれてWPOに確実に収束することを示す。
  論文  参考訳（メタデータ） (2023-06-25T05:41:38Z)
• Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
  本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。 我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
  論文  参考訳（メタデータ） (2023-02-15T23:10:06Z)
• Trust Region Policy Optimization with Optimal Transport Discrepancies: Duality and Algorithm for Continuous Actions [5.820284464296154]
  信頼地域政策最適化(Trust Region Policy Optimization)は、政策更新を安定化するための一般的なアプローチである。 本稿では,連続状態対応空間のための新しいアルゴリズム,OT-TRPO(Optimal Transport Trust Region Policy Optimization)を提案する。 以上の結果から,輸送の相違は最先端のアプローチよりも有利であることが示唆された。
  論文  参考訳（メタデータ） (2022-10-20T10:04:35Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Chance Constrained Policy Optimization for Process Control and Optimization [1.4908563154226955]
  1) プラントモデルミスマッチ, 2) プロセス障害, 3) 安全な運転の制約が, 化学プロセスの最適化と制御に影響を及ぼす。 本研究では,確率の高い連立確率制約の満足度を保証できる確率制約付きポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-30T14:20:35Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。