論文の概要: Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2412.13224v1
- Date: Tue, 17 Dec 2024 04:13:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:48:37.155372
- Title: Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
- Title（参考訳）: 安全強化学習のための物理モデル誘導型ウストケースサンプリング
- Authors: Hongpeng Cao, Yanbing Mao, Lui Sha, Marco Caccamo,
- Abstract要約: 学習可能なCPSにおける現実世界の事故は、しばしば挑戦的なコーナーケースで発生する。
トレーニング条件の標準設定は、単一の初期条件で固定するか、許容状態空間から一様にサンプリングされる。
本稿では,安全政策のトレーニングのための物理モデル誘導型最悪のサンプリング戦略を提案する。
- 参考スコア（独自算出の注目度）: 2.2338458480599637
- License:
- Abstract: Real-world accidents in learning-enabled CPS frequently occur in challenging corner cases. During the training of deep reinforcement learning (DRL) policy, the standard setup for training conditions is either fixed at a single initial condition or uniformly sampled from the admissible state space. This setup often overlooks the challenging but safety-critical corner cases. To bridge this gap, this paper proposes a physics-model-guided worst-case sampling strategy for training safe policies that can handle safety-critical cases toward guaranteed safety. Furthermore, we integrate the proposed worst-case sampling strategy into the physics-regulated deep reinforcement learning (Phy-DRL) framework to build a more data-efficient and safe learning algorithm for safety-critical CPS. We validate the proposed training strategy with Phy-DRL through extensive experiments on a simulated cart-pole system, a 2D quadrotor, a simulated and a real quadruped robot, showing remarkably improved sampling efficiency to learn more robust safe policies.
- Abstract（参考訳）: 学習可能なCPSにおける現実世界の事故は、しばしば挑戦的なコーナーケースで発生する。
深層強化学習(DRL)政策のトレーニング中、訓練条件の標準設定は、単一の初期条件で固定されるか、許容状態空間から一様にサンプリングされる。
この設定は、しばしば困難だが安全上重要な問題を見落としている。
このギャップを埋めるために,安全対策をトレーニングするための物理モデル誘導型最悪のサンプリング戦略を提案する。
さらに,提案手法を物理制御深部強化学習(Phy-DRL)フレームワークに統合し,よりデータ効率が高く,安全性の高いCPS学習アルゴリズムを構築する。
我々は,シミュレーションされたカートポールシステム,2次元四脚ロボット,シミュレートされた実四脚ロボットの広範な実験を通じて,Phy-DRLを用いたトレーニング戦略を検証し,サンプリング効率を著しく改善し,より堅牢な安全ポリシーを学習した。
関連論文リスト
- Safety-Driven Deep Reinforcement Learning Framework for Cobots: A Sim2Real Approach [1.0488553716155147]
本研究では,深部強化学習(DRL)におけるロボットシミュレーションに安全性制約を取り入れた新しい手法を提案する。
このフレームワークは、速度制約のような安全要件の特定の部分をDRLモデルに直接統合する。
提案手法は,テストシナリオの平均成功率を16.5%向上させる。
論文 参考訳（メタデータ） (2024-07-02T12:56:17Z) - Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical
Systems [15.863561935347692]
非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。
制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。
我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
論文 参考訳（メタデータ） (2024-03-06T19:39:20Z) - Safe Deep Policy Adaptation [7.2747306035142225]
強化学習(RL)に基づく政策適応は、汎用性と汎用性を提供するが、安全性と堅牢性に挑戦する。
政策適応と安全強化学習の課題を同時に解決する新しいRLおよび制御フレームワークであるSafeDPAを提案する。
我々は、SafeDPAの理論的安全性を保証し、学習エラーや余分な摂動に対するSafeDPAの堅牢性を示す。
論文 参考訳（メタデータ） (2023-10-08T00:32:59Z) - Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。
我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。
我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-27T15:19:45Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Safe Model-Based Reinforcement Learning with an Uncertainty-Aware
Reachability Certificate [6.581362609037603]
我々は、DRCとそれに対応するシールドポリシーの制約を解決するために、安全な強化学習フレームワークを構築します。
また,シールドポリシを活用しつつ,安全性と高いリターンを同時に達成するためのラインサーチ手法も考案した。
論文 参考訳（メタデータ） (2022-10-14T06:16:53Z) - Safe Model-Based Reinforcement Learning Using Robust Control Barrier
Functions [43.713259595810854]
安全に対処する一般的なアプローチとして、安全層が追加され、RLアクションを安全な一連のアクションに投影する。
本稿では,モデルベースRLフレームワークにおけるロバスト制御バリア機能層としての安全性について述べる。
論文 参考訳（メタデータ） (2021-10-11T17:00:45Z) - Learning Barrier Certificates: Towards Safe Reinforcement Learning with
Zero Training-time Violations [64.39401322671803]
本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。
本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
論文 参考訳（メタデータ） (2021-08-04T04:59:05Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-27T17:54:25Z) - Cautious Adaptation For Reinforcement Learning in Safety-Critical
Settings [129.80279257258098]
都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。
非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。
多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
論文 参考訳（メタデータ） (2020-08-15T01:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。