論文の概要: Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics
- arxiv url: http://arxiv.org/abs/2604.26836v1
- Date: Wed, 29 Apr 2026 16:01:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.479737
- Title: Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics
- Title(参考訳): 確率的ニューラルネットワークダイナミクスのための不確実性を考慮した予測安全フィルタ
- Authors: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe,
- Abstract要約: 予測安全フィルタ(PSF)は、モデル予測制御を利用して、深層強化学習(RL)探索中に制約満足度を強制する。
我々は,PE力学モデルを用いた厳密な安全予測を提供するPSFである不確実性認識予測安全フィルタ(UPSi)を紹介する。
- 参考スコア(独自算出の注目度): 10.52260807342103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive safety filters (PSFs) leverage model predictive control to enforce constraint satisfaction during deep reinforcement learning (RL) exploration, yet their reliance on first-principles models or Gaussian processes limits scalability and broader applicability. Meanwhile, model-based RL (MBRL) methods routinely employ probabilistic ensemble (PE) neural networks to capture complex, high-dimensional dynamics from data with minimal prior knowledge. However, existing attempts to integrate PEs into PSFs lack rigorous uncertainty quantification. We introduce the Uncertainty-Aware Predictive Safety Filter (UPSi), a PSF that provides rigorous safety predictions using PE dynamics models by formulating future outcomes as reachable sets. UPSi introduces an explicit certainty constraint that prevents model exploitation and integrates seamlessly into common MBRL frameworks. We evaluate UPSi within Dyna-style MBRL on standard safe RL benchmarks and report substantial improvements in exploration safety over prior neural network PSFs while maintaining performance on par with standard MBRL. UPSi bridges the gap between the scalability and generality of modern MBRL and the safety guarantees of predictive safety filters.
- Abstract(参考訳): 予測安全フィルタ(PSF)は、モデル予測制御を利用して、深層強化学習(RL)探索中に制約満足度を強制するが、第一原理モデルやガウス過程への依存はスケーラビリティとより広範な適用性を制限している。
一方、モデルベースRL(MBRL)手法は、最小の事前知識を持つデータから複雑な高次元ダイナミクスを捉えるために、確率的アンサンブル(PE)ニューラルネットワークを常用する。
しかし、既存のPEをPSFに統合する試みでは、厳密な不確実性定量化が欠如している。
本研究では,PE力学モデルを用いた厳密な安全性予測を行うPSFであるUncertainty-Aware Predictive Safety Filter (UPSi)を紹介する。
UPSiは、モデル利用を防ぎ、共通のMBRLフレームワークにシームレスに統合する明示的な確実性制約を導入している。
我々は、Dyna-style MBRLのUPSiを標準安全RLベンチマークで評価し、標準MBRLと同等の性能を維持しながら、以前のニューラルネットワークPSFよりも探索安全性が大幅に向上したことを報告した。
UPSiは、現代のMBRLのスケーラビリティと一般性と予測安全フィルタの安全性とのギャップを埋める。
関連論文リスト
- Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling [7.815370784443825]
予測地平線上でパラメータを共有することで,MPC候補制御シーケンスを生成する逐次的ニューラルポリシーであるSequential-AMPCを提案する。
いくつかのベンチマークにおける単純なフィードフォワードポリシーベースラインと比較すると、Sequential-AMPCは専門家のMPCロールアウトをかなり少なくし、高い実行可能性率で候補シーケンスを出力し、クローズドループ安全性を改善している。
高次元システムでは、フィードフォワードベースラインが停滞する安定した検証改善を維持しながら、より少ないエポックでより優れた学習ダイナミクスと性能を示す。
論文 参考訳(メタデータ) (2026-03-25T16:43:11Z) - Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。
本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-12T22:03:35Z) - Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters [0.0]
強化学習は複雑なシナリオに適応するためにますます使われていますが、安全性と安定性を保証するための標準フレームワークは欠如しています。
予測安全フィルタ(PSF)は、明示的な制約処理を伴わずに、学習ベースの制御における制約満足度を確保する、有望なソリューションを提供する。
この手法を海洋航法に適用し,シミュレーションされたCybership IIモデル上でRLとPSFを組み合わせた。
その結果, PSF が安全維持に有効であることは, RL エージェントの学習速度と性能を損なうことなく示され, PSF を使用せずに標準 RL エージェントに対して評価された。
論文 参考訳(メタデータ) (2023-12-04T12:37:54Z) - Multi-Step Model Predictive Safety Filters: Reducing Chattering by
Increasing the Prediction Horizon [7.55113002732746]
安全フィルタを用いて学習制御ポリシを増強することにより、状態と入力制約の満足度を保証できる。
モデル予測安全フィルタ(MPSF)は、モデル予測制御(MPC)に基づく一般的な安全フィルタリング手法である。
論文 参考訳(メタデータ) (2023-09-20T16:35:29Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳(メタデータ) (2022-08-23T05:02:09Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z) - Pointwise Feasibility of Gaussian Process-based Safety-Critical Control
under Model Uncertainty [77.18483084440182]
制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。
本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-13T23:08:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。