論文の概要: RECREG: Recovery-based Shielding for Regular Safety Properties in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.23445v1
- Date: Fri, 16 Oct 2026 13:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.939471
- Title: RECREG: Recovery-based Shielding for Regular Safety Properties in Reinforcement Learning
- Title（参考訳）: RECREG:強化学習における正常安全性のための回復型遮蔽
- Abstract要約: RecRegは安全なRLフレームワークで、リカバリベースのシールドを通じてマルコフ以外の通常の安全特性を強制することができる。
我々は,MASA-Safe-RLライブラリを用いた実験結果の広範なセットを提供し,SOTAモデルを用いた深部RLドメインの拡張について概説する。
- 参考スコア（独自算出の注目度）: 57.006252510102506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many real-world scenarios we need to consider formal requirements, such as safety and constraint compliance, to deploy Reinforcement Learning (RL) agents. In this paper we introduce RecReg, a safe RL framework capable of enforcing non-Markovian regular safety properties via recovery-based shielding. RecReg is a unified approach that supports different levels of a priori knowledge and safety guarantees. The paper primarily focuses on building the theoretical foundations for RecReg in the tabular setting, providing rigorous safety and convergence guarantees that are not present in related work. We provide an extensive set of empirical results using the MASA-Safe-RL library, and we outline an extension of RecReg to deep RL domains using SOTA model-based RL. Our empirical results demonstrate that RecReg achieves efficient learning and matches the theory in this paper.
- Abstract（参考訳）: 多くの実世界のシナリオでは、強化学習(RL)エージェントをデプロイするために、安全や制約コンプライアンスといった正式な要件を検討する必要があります。
本稿では,RecRegについて紹介する。RecRegは,リカバリベースシールドによる非マルコフ正規安全特性の強化が可能な安全なRLフレームワークである。
RecRegは、優先順位の知識と安全性の保証の異なるレベルをサポートする統一されたアプローチである。
本稿は,RecRegの理論的基礎を表裏の設定で構築することに焦点を当て,関連する作業に存在しない厳密な安全性と収束保証を提供する。
我々は,MASA-Safe-RLライブラリを用いた実験結果の広範なセットを提供し,SOTAモデルベースRLを用いた深部RLドメインへのRecRegの拡張について概説する。
本稿では,RecRegが効率よく学習し,理論と一致することを示す。
関連論文リスト
- Robust General Utility for Reinforcement Learning [7.332941410825274]
一般用途による強化学習(RL)は、政策による占有率の任意の機能的ロバスト性を最適化することにより、古典的なRLを拡張している。
実際には、デプロイで使用されるユーティリティはトレーニングツールから逸脱し、以前の作業で対処できないギャップを生じさせる。
そこで本研究では, 実用上の不確実性を考慮した政策を訓練するミニマックス学習フレームワークである, 堅牢な汎用ユーティリティ RL を提案する。
論文 参考訳（メタデータ） (2026-08-04T12:28:39Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-27T15:19:45Z) - Value Functions are Control Barrier Functions: Verification of Safe
Policies using Control Theory [46.85103495283037]
本稿では,制御理論から学習値関数への検証手法の適用方法を提案する。
我々は値関数と制御障壁関数の間の関係を確立する原定理を定式化する。
我々の研究は、RLベースの制御システムの汎用的でスケーラブルで検証可能な設計のための公式なフレームワークに向けた重要な一歩である。
論文 参考訳（メタデータ） (2023-06-06T21:41:31Z) - Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。
我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
論文 参考訳（メタデータ） (2022-10-26T05:37:51Z) - Safe Model-Based Reinforcement Learning with an Uncertainty-Aware
Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。
また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文 参考訳（メタデータ） (2022-10-14T06:16:53Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z) - Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and
Benchmarking [12.719948223824483]
強化学習(RL)アルゴリズムは、多くの現実世界のタスクにおいて、その潜在能力を解き放つために不可欠である。
しかしながら、バニラRLと最も安全なRLアプローチは安全性を保証するものではない。
本稿では,既存の安全なRL手法の分類を導入し,連続的および離散的な動作空間の概念的基礎を提示し,既存の手法を実証的にベンチマークする。
本稿では、安全仕様、RLアルゴリズム、アクション空間の種類に応じて、確実に安全なRLアプローチを選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2022-05-13T16:34:36Z) - Safe Distributional Reinforcement Learning [19.607668635077495]
強化学習における安全性(RL)は、自動運転や金融などの多くの分野での訓練と実行の両方において重要な特性です。
分布 RL の設定において制約付き RL の定式化で定式化する。
私たちは、人工および現実ドメインに関する提案を、最新の安全RLアルゴリズムに対して実証的に検証します。
論文 参考訳（メタデータ） (2021-02-26T13:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。