論文の概要: Sampling-Based Safe Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.19469v1
- Date: Tue, 19 May 2026 07:21:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.184618
- Title: Sampling-Based Safe Reinforcement Learning
- Title（参考訳）: サンプリングに基づく安全な強化学習
- Authors: Luca Vignola, Bruce D. Lee, Manish Prajapat, Manuel Wendl, Melanie Zeilinger, Andreas Krause, Yarden As,
- Abstract要約: 本稿では,学習プロセス全体を通して安全性を維持するモデルに基づく強化学習アルゴリズムを提案する。
この定式化は不確実な力学に対する難解な最悪の最適化を近似する。
規則性条件下では、学習を通しての安全性の保証と、ほぼ最適ポリシーを回復するための有限時間サンプル複雑性を導出する。
- 参考スコア（独自算出の注目度）: 30.21184523512902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safe exploration remains a fundamental challenge in reinforcement learning (RL), limiting the deployment of RL agents in the real world. We propose Sampling-Based Safe Reinforcement Learning (SBSRL), a model-based RL algorithm that maintains safety throughout the learning process by enforcing constraints jointly across a finite set of dynamics samples. This formulation approximates an intractable worst-case optimization over uncertain dynamics and enables practical safety guarantees in continuous domains. We further introduce an exploration strategy based on constraining epistemic uncertainty, eliminating the need for explicit exploration bonuses. Under regularity conditions, we derive high-probability guarantees of safety throughout learning and a finite-time sample complexity bound for recovering a near-optimal policy. Empirically, SBSRL achieves safe and efficient exploration both in simulation and in real robotic hardware, and readily extends to practical deep-ensemble implementations that scale to high-dimensional continuous control problems.
- Abstract（参考訳）: 安全探索は、実世界におけるRLエージェントの展開を制限する強化学習(RL)の基本的な課題である。
本研究では,モデルに基づくRLアルゴリズムであるサンプリングベースセーフ強化学習(SBSRL)を提案する。
この定式化は、不確実な力学に対する難解な最悪の最適化を近似し、連続領域における実用的な安全保証を可能にする。
さらに,疫学的不確実性の制約に基づく探索戦略を導入し,明確な探索ボーナスの必要性を排除した。
規則性条件下では、学習を通しての安全性の保証と、ほぼ最適ポリシーを回復するための有限時間サンプル複雑性を導出する。
実験的に、SBSRLはシミュレーションと実際のロボットハードウェアの両方において安全かつ効率的な探索を実現し、高次元連続制御問題にスケールする実用的なディープアンサンブル実装まで容易に拡張できる。
関連論文リスト
- Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。
本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-12T22:03:35Z) - ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。
本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。
さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
論文 参考訳（メタデータ） (2024-10-12T10:46:02Z) - State-Wise Safe Reinforcement Learning With Pixel Observations [12.338614299403305]
本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。
共同学習の枠組みとして,画素観測から導出した低次元潜在空間を用いた潜在力学モデルの構築から着目する。
次に、潜時力学の上に潜時バリアのような機能を構築・学習し、同時にポリシー最適化を行い、それによって安全性と総リターンの両方を改善します。
論文 参考訳（メタデータ） (2023-11-03T20:32:30Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Safe Model-Based Reinforcement Learning with an Uncertainty-Aware
Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。
また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文 参考訳（メタデータ） (2022-10-14T06:16:53Z) - Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。
理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文 参考訳（メタデータ） (2020-02-26T00:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。