論文の概要: Robust Shielding for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.00270v1
• Date: Fri, 29 May 2026 19:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.194356
• Title: Robust Shielding for Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習のためのロバストシールド
• Abstract要約: マルコフ決定過程(MDPs)における強化学習エージェントの安全性を正式に保証するための遮蔽は効果的なアプローチである 遷移確率の集合を持つ頑健なMDPのための新しい遮蔽フレームワークを提案する。 実験の結果,学習用MDPのシールドは未知のMDPの安全性を確保しつつ,サンプル数の増加とともに高い期待リターンを回復することがわかった。
• 参考スコア（独自算出の注目度）: 55.99069346593732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shielding is an effective approach to formally guarantee the safety of reinforcement learning agents in Markov decision processes (MDPs). However, existing shielding techniques typically assume knowledge of the safety-relevant transition dynamics - a requirement that is seldom met in practice. To address this limitation, we introduce a novel shielding framework for robust MDPs (RMDPs), i.e., MDPs with sets of transition probabilities. We define safety as the satisfaction of a linear temporal logic (LTL) formula with a certain threshold probability under the worst-case transition probabilities of the RMDP. We prove that our shielding framework is both sound and optimal for the RMDP: every policy admissible by the shield is safe, and conversely, every safe RMDP policy is admissible by the shield. We combine our approach with existing sampling methods for learning transition probabilities of MDPs with probably approximately correct (PAC) guarantees. This combination enables the construction of shields for MDPs that, with high confidence, guarantee safety while remaining minimally restrictive. Our experiments show that our shields for learned RMDPs guarantee safety in unknown MDPs while recovering strong expected return as the number of samples increases.
• Abstract（参考訳）: 遮蔽はマルコフ決定プロセス(MDP)における強化学習エージェントの安全性を正式に保証するための効果的なアプローチである。 しかしながら、既存の遮蔽技術は一般的に、安全関連トランジッションダイナミクスの知識を前提としています。 この制限に対処するために、我々は堅牢なMDP(RMDP)、すなわち一連の遷移確率を持つMDPのための新しい遮蔽フレームワークを導入する。 我々は、RMDPの最悪の遷移確率の下で、あるしきい値確率を持つ線形時間論理式(LTL)の満足度として安全性を定義する。 シールドによって許容されるすべての政策は安全であり、逆に、安全であるRMDP政策はシールドによって許容される。 提案手法は,MPPの遷移確率とほぼ正しい(PAC)保証を学習するための既存のサンプリング手法と組み合わせる。 この組み合わせにより、信頼性が高く、最小限の制限を保ちながら安全性を保証するMDP用のシールドを構築することができる。 実験の結果,学習用RMDPのシールドは未知のMDPの安全性を保証し,サンプル数の増加とともに高い期待リターンを回復することがわかった。

関連論文リスト

• Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning [13.82610991481171]
  我々は,MDPの遷移グラフが知られている環境におけるシールドの計算問題について検討する。 RLエージェントが環境を探索する際、遷移確率を推定する。 シールドは最初は保守的であるかもしれないが、モデル推定がより正確になるにつれて適応する。
  論文  参考訳（メタデータ） (2026-08-20T09:37:44Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• On Almost Surely Safe Alignment of Large Language Models at Inference-Time [20.5164976103514]
  安全応答をほぼ確実に生成することを目的とした,LLMに対する新しい推論時間アライメント手法を提案する。 我々は、安全制約の進化を追跡し、安全でない世代を動的に罰する安全状態を強化する。 我々は,潜在空間におけるMDPを十分に大きな罰則で解く際に,与えられたコストモデルに対して公式な安全保証を示す。
  論文  参考訳（メタデータ） (2025-02-03T09:59:32Z)
• Leveraging Approximate Model-based Shielding for Probabilistic Safety Guarantees in Continuous Environments [63.053364805943026]
  近似モデルベースの遮蔽フレームワークを連続的な設定に拡張する。 特に、テストベッドとしてSafety Gymを使用し、一般的な制約付きRLアルゴリズムとABBSのより直接的な比較を可能にします。
  論文  参考訳（メタデータ） (2024-02-01T17:55:08Z)
• Safe POMDP Online Planning via Shielding [6.234405592444883]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、不確実性の下でのシーケンシャルな意思決定のために多くのロボットアプリケーションで広く利用されている。 部分的に観測可能なモンテカルロ計画(POMCP)のようなPOMDPオンライン計画アルゴリズムは、期待されるリターンを最大化することを目的として、非常に大きなPOMDPを解決することができる。 しかし、結果として生じる政策は、現実世界の安全に不可欠なタスクに欠かせない安全保証を提供することはできない。
  論文  参考訳（メタデータ） (2023-09-19T00:02:05Z)
• Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning [7.103977648997475]
  MARL(Multi-Agent Reinforcement Learning)は、報酬を最大化するが、学習と展開フェーズにおいて安全保証を持たないポリシーを発見する。 MARLアルゴリズム設計をサポートするモデルベース動的シールド(MBDS)。
  論文  参考訳（メタデータ） (2023-04-13T06:08:10Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。