論文の概要: Safe Reinforcement Learning using Action Projection: Safeguard the Policy or the Environment?
- arxiv url: http://arxiv.org/abs/2509.12833v1
- Date: Tue, 16 Sep 2025 08:56:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.980733
- Title: Safe Reinforcement Learning using Action Projection: Safeguard the Policy or the Environment?
- Title（参考訳）: 行動予測を用いた安全強化学習:政策や環境を守るか?
- Authors: Hannah Markgraf, Shamburaj Sawant, Hanna Krasowski, Lukas Schäfer, Sebastien Gros, Matthias Althoff,
- Abstract要約: 安全環境RL(SE-RL)と安全政策RL(SP-RL)の2つの統合戦略が一般的である。
安全クリティカルな設定の実践的関連性にもかかわらず、それらの相違点に関する正式な理解は欠如している。
我々は、複数の安全でないアクションが同じ安全なアクションに投影される現象であるアクションエイリアスによって、それぞれのアプローチがどのように影響を受けるかにおいて、重要な違いを識別する。
- 参考スコア（独自算出の注目度）: 12.149835744096748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Projection-based safety filters, which modify unsafe actions by mapping them to the closest safe alternative, are widely used to enforce safety constraints in reinforcement learning (RL). Two integration strategies are commonly considered: Safe environment RL (SE-RL), where the safeguard is treated as part of the environment, and safe policy RL (SP-RL), where it is embedded within the policy through differentiable optimization layers. Despite their practical relevance in safety-critical settings, a formal understanding of their differences is lacking. In this work, we present a theoretical comparison of SE-RL and SP-RL. We identify a key distinction in how each approach is affected by action aliasing, a phenomenon in which multiple unsafe actions are projected to the same safe action, causing information loss in the policy gradients. In SE-RL, this effect is implicitly approximated by the critic, while in SP-RL, it manifests directly as rank-deficient Jacobians during backpropagation through the safeguard. Our contributions are threefold: (i) a unified formalization of SE-RL and SP-RL in the context of actor-critic algorithms, (ii) a theoretical analysis of their respective policy gradient estimates, highlighting the role of action aliasing, and (iii) a comparative study of mitigation strategies, including a novel penalty-based improvement for SP-RL that aligns with established SE-RL practices. Empirical results support our theoretical predictions, showing that action aliasing is more detrimental for SP-RL than for SE-RL. However, with appropriate improvement strategies, SP-RL can match or outperform improved SE-RL across a range of environments. These findings provide actionable insights for choosing and refining projection-based safe RL methods based on task characteristics.
- Abstract（参考訳）: プロジェクションベースの安全フィルタは、最も安全な代替品にマッピングすることで安全でない行動を修正し、強化学習(RL)における安全性の制約を強制するために広く使用されている。
安全環境RL(SE-RL)と安全ポリシーRL(SP-RL)の2つの統合戦略が一般的である。
安全クリティカルな設定の実践的関連性にもかかわらず、それらの相違点に関する正式な理解は欠如している。
本稿では,SE-RLとSP-RLの理論的比較を示す。
我々は、複数の安全でないアクションが同じ安全なアクションに投影される現象であるアクションエイリアスによって、各アプローチがどのように影響を受けるかにおいて重要な違いを識別し、ポリシー勾配に情報損失をもたらす。
SE-RLでは、この効果は批評家によって暗黙的に近似されるが、SP-RLでは、安全を通したバックプロパゲーションにおいて、階級不足のヤコビアンとして直接現れる。
私たちの貢献は3倍です。
i) アクター批判アルゴリズムの文脈におけるSE-RLとSP-RLの統一形式化。
(二)それぞれの政策勾配推定の理論的分析、行動エイリアスの役割の強調、及び
三 既存のSE-RLの実践と整合したSP-RLの新たなペナルティベースの改善を含む緩和戦略の比較研究。
実験の結果,SP-RLはSE-RLよりも行動エイリアシングが有害であることが示唆された。
しかし、適切な改善戦略により、SP-RLは様々な環境において改善されたSE-RLに適合または優れる。
これらの結果は,タスク特性に基づいたプロジェクションに基づく安全なRL法の選択と精錬のための実用的な洞察を与える。
関連論文リスト
- Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。
オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
論文 参考訳（メタデータ） (2024-12-09T17:28:03Z) - A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents [44.09686403685058]
本研究の目的は,累積報酬のリスク尺度を最適化する履歴依存政策を学習することである。
楽観主義に基づくメタアルゴリズムと政策勾配に基づくメタアルゴリズムを提案する。
我々は,提案アルゴリズムが概念実証MDPで最適な履歴依存ポリシーを学習できることを実証的に示す。
論文 参考訳（メタデータ） (2024-03-10T21:45:12Z) - Safety Optimized Reinforcement Learning via Multi-Objective Policy
Optimization [3.425378723819911]
セーフ強化学習(Safe reinforcement learning, Safe RL)とは、RLアルゴリズムが制約を犯すのを防ぐ技術である。
本稿では,多目的ポリシー最適化フレームワークに基づく新しいモデルフリーなSafe RLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-23T08:58:38Z) - Offline RL Policies Should be Trained to be Adaptive [89.8580376798065]
ベイズ的意味において、オフラインRLで最適に振る舞うには暗黙のPOMDPを解く必要があることを示す。
結果として、オフラインRLの最適ポリシーは、現在の状態だけでなく、評価中にこれまで見られたすべての遷移に依存して適応されなければならない。
本稿では、この最適適応ポリシーを近似するモデルフリーアルゴリズムを提案し、オフラインRLベンチマークにおける適応ポリシーの学習の有効性を実証する。
論文 参考訳（メタデータ） (2022-07-05T17:58:33Z) - Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and
Benchmarking [12.719948223824483]
強化学習(RL)アルゴリズムは、多くの現実世界のタスクにおいて、その潜在能力を解き放つために不可欠である。
しかしながら、バニラRLと最も安全なRLアプローチは安全性を保証するものではない。
本稿では,既存の安全なRL手法の分類を導入し,連続的および離散的な動作空間の概念的基礎を提示し,既存の手法を実証的にベンチマークする。
本稿では、安全仕様、RLアルゴリズム、アクション空間の種類に応じて、確実に安全なRLアプローチを選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2022-05-13T16:34:36Z) - Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety
Constraints in Finite MDPs [71.47895794305883]
オフライン強化学習環境における制約下での安全政策改善(SPI)の問題について検討する。
本稿では,異なる報酬信号に対するトレードオフを扱うアルゴリズムのユーザの好みを考慮した,このRL設定のためのSPIを提案する。
論文 参考訳（メタデータ） (2021-05-31T21:04:21Z) - Assured Learning-enabled Autonomy: A Metacognitive Reinforcement
Learning Framework [4.427447378048202]
事前指定された報酬機能を持つ強化学習(rl)エージェントは、さまざまな状況で安全性を保証できない。
本稿では,メタ認知学習機能を備えたRLアルゴリズムを用いて,自律制御フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-23T14:01:35Z) - Safe Distributional Reinforcement Learning [19.607668635077495]
強化学習における安全性(RL)は、自動運転や金融などの多くの分野での訓練と実行の両方において重要な特性です。
分布 RL の設定において制約付き RL の定式化で定式化する。
私たちは、人工および現実ドメインに関する提案を、最新の安全RLアルゴリズムに対して実証的に検証します。
論文 参考訳（メタデータ） (2021-02-26T13:03:27Z) - Expert-Supervised Reinforcement Learning for Offline Policy Learning and
Evaluation [21.703965401500913]
本稿では,オフライン政策学習のための不確実性定量化手法であるExpert-Supervised RL (ESRL) フレームワークを提案する。
具体的には,1)仮説テストによる安全かつ最適なポリシの学習,2)ESRLはアプリケーションコンテキストに合わせて異なるレベルのリスク逆実装を可能にし,3)後続分布を通してESRLのポリシーを解釈する方法を提案する。
論文 参考訳（メタデータ） (2020-06-23T17:43:44Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。