論文の概要: Policy Bifurcation in Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2403.12847v3
• Date: Thu, 28 Mar 2024 11:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 20:33:12.771356
• Title: Policy Bifurcation in Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習における政策分岐
• Authors: Wenjun Zou, Yao Lyu, Jie Li, Yujie Yang, Shengbo Eben Li, Jingliang Duan, Xianyuan Zhan, Jingjing Liu, Yaqin Zhang, Keqiang Li,
• Abstract要約: いくつかのシナリオでは、実行可能なポリシーは不連続または多値であり、不連続な局所最適性の間の補間は必然的に制約違反につながる。 我々は,このような現象の発生機構を最初に同定し,安全RLにおける分岐の存在を厳密に証明するためにトポロジカル解析を用いる。 本稿では,ガウス混合分布をポリシ出力として利用するマルチモーダルポリシ最適化(MUPO)と呼ばれる安全なRLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 35.75059015441807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning (RL) offers advanced solutions to constrained optimal control problems. Existing studies in safe RL implicitly assume continuity in policy functions, where policies map states to actions in a smooth, uninterrupted manner; however, our research finds that in some scenarios, the feasible policy should be discontinuous or multi-valued, interpolating between discontinuous local optima can inevitably lead to constraint violations. We are the first to identify the generating mechanism of such a phenomenon, and employ topological analysis to rigorously prove the existence of policy bifurcation in safe RL, which corresponds to the contractibility of the reachable tuple. Our theorem reveals that in scenarios where the obstacle-free state space is non-simply connected, a feasible policy is required to be bifurcated, meaning its output action needs to change abruptly in response to the varying state. To train such a bifurcated policy, we propose a safe RL algorithm called multimodal policy optimization (MUPO), which utilizes a Gaussian mixture distribution as the policy output. The bifurcated behavior can be achieved by selecting the Gaussian component with the highest mixing coefficient. Besides, MUPO also integrates spectral normalization and forward KL divergence to enhance the policy's capability of exploring different modes. Experiments with vehicle control tasks show that our algorithm successfully learns the bifurcated policy and ensures satisfying safety, while a continuous policy suffers from inevitable constraint violations.
• Abstract（参考訳）: 安全な強化学習(RL)は制約付き最適制御問題に対する高度な解決策を提供する。 安全RLの既存の研究は、政策関数の連続性を暗黙的に前提としており、政策はスムーズで不断な方法で行動に反応するが、いくつかのシナリオでは、実現可能な政策は不連続または多値であり、不連続な局所的オプティマ間の補間は必然的に制約違反につながる。 我々は,このような現象の発生機構を最初に同定し,リーチ可能なタプルの収縮性に対応する安全なRLにおける政策分岐の存在を厳密に証明するためにトポロジカル解析を用いる。 我々の定理は、障害物のない状態空間が非単純連結である場合、実現可能なポリシーは分岐する必要があることを明らかにする。 このような分岐ポリシーを訓練するために,ガウス混合分布をポリシ出力として利用するMultimodal Policy Optimization (MUPO)と呼ばれる安全なRLアルゴリズムを提案する。 この分岐挙動は、最も高い混合係数を持つガウス成分を選択することで達成できる。 さらに、MUPOはスペクトル正規化と前方KL分岐を統合し、異なるモードを探索するポリシーの能力を高める。 車両制御タスクを用いた実験では,我々のアルゴリズムは分岐したポリシーをうまく学習し,安全性を確実に確保する一方で,連続的なポリシーは避けられない制約違反に悩まされている。

関連論文リスト

• Embedding Safety into RL: A New Take on Trust Region Methods [1.5733417396701983]
  強化学習(RL)エージェントは、様々なタスクを解くことができるが、安全でない振る舞いをする傾向がある。 本稿では,安全制約に基づいて政策空間の幾何学を変更する新しいアプローチとして,制約付きトラスト地域政策最適化(C-TRPO)を提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:55:50Z)
• Flipping-based Policy for Chance-Constrained Markov Decision Processes [9.404184937255694]
  本稿では,CCMDP(Chance-Constrained Markov Decision Processs)のためのテキストフリップに基づくポリシーを提案する。 フリップベースのポリシーは、2つのアクション候補の間で潜在的に歪んだコインを投げて次のアクションを選択する。 提案手法は,既存の安全RLアルゴリズムの性能を安全性の制約と同じ限度で向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:39Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Probabilistic Constraint for Safety-Critical Reinforcement Learning [13.502008069967552]
  確率的制約付き強化学習(RL)における安全な政策学習の課題について考察する。 SPG-Actor-Critic は SPG-REINFORCE よりも低い分散をもたらす。 両SPGを利用して安全なポリシを学習できるSafe Primal-Dualアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-29T19:41:56Z)
• Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
  本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。 我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
  論文  参考訳（メタデータ） (2023-02-15T23:10:06Z)
• Safety-Constrained Policy Transfer with Successor Features [19.754549649781644]
  本稿では,安全制約へのポリシーの移転と遵守を可能にするCMDP(Constrained Markov Decision Process)の定式化を提案する。 我々のアプローチは、Lagrangian の定式化による制約付き設定への一般化された政策改善の新たな拡張に依存している。 シミュレーションドメインでの我々の実験は、我々のアプローチが効果的であることを示し、安全上の制約を考慮に入れた場合、安全でない状態の訪問を少なくし、代替の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-10T06:06:36Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)
• BRPO: Batch Residual Policy Optimization [79.53696635382592]
  バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。 本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。 我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
  論文  参考訳（メタデータ） (2020-02-08T01:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。