論文の概要: ISAACS: Iterative Soft Adversarial Actor-Critic for Safety

• arxiv url: http://arxiv.org/abs/2212.03228v1
• Date: Tue, 6 Dec 2022 18:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 18:15:59.847348
• Title: ISAACS: Iterative Soft Adversarial Actor-Critic for Safety
• Title（参考訳）: ISAACS:安全のためのソフト・アドベラル・アクター・クリティカル
• Authors: Kai-Chieh Hsu, Duy Phuong Nguyen, Jaime Fern\'andez Fisac
• Abstract要約: この研究は、ロボットシステムのための堅牢な安全維持コントローラのスケーラブルな合成を可能にする新しいアプローチを導入する。 安全を追求するフォールバックポリシーは、モデルエラーの最悪のケースの実現を促進するために、敵の「混乱」エージェントと共同で訓練される。 学習した制御ポリシーは本質的に安全性を保証するものではないが、リアルタイムの安全フィルタを構築するために使用される。
• 参考スコア（独自算出の注目度）: 1.290382979353427
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The deployment of robots in uncontrolled environments requires them to operate robustly under previously unseen scenarios, like irregular terrain and wind conditions. Unfortunately, while rigorous safety frameworks from robust optimal control theory scale poorly to high-dimensional nonlinear dynamics, control policies computed by more tractable "deep" methods lack guarantees and tend to exhibit little robustness to uncertain operating conditions. This work introduces a novel approach enabling scalable synthesis of robust safety-preserving controllers for robotic systems with general nonlinear dynamics subject to bounded modeling error by combining game-theoretic safety analysis with adversarial reinforcement learning in simulation. Following a soft actor-critic scheme, a safety-seeking fallback policy is co-trained with an adversarial "disturbance" agent that aims to invoke the worst-case realization of model error and training-to-deployment discrepancy allowed by the designer's uncertainty. While the learned control policy does not intrinsically guarantee safety, it is used to construct a real-time safety filter (or shield) with robust safety guarantees based on forward reachability rollouts. This shield can be used in conjunction with a safety-agnostic control policy, precluding any task-driven actions that could result in loss of safety. We evaluate our learning-based safety approach in a 5D race car simulator, compare the learned safety policy to the numerically obtained optimal solution, and empirically validate the robust safety guarantee of our proposed safety shield against worst-case model discrepancy.
• Abstract（参考訳）: 非制御環境におけるロボットの展開は、不規則な地形や風条件など、これまで見つからなかったシナリオの下でのロバストな運用を必要とする。 残念ながら、ロバストな最適制御理論からの厳密な安全フレームワークは高次元の非線形力学に乏しいが、よりトラクタブルな"ディープ"手法によって計算される制御ポリシーには保証がなく、不確実な動作条件にはほとんど堅牢性を示す傾向にある。 本研究は,ゲーム理論の安全性解析と対向強化学習を組み合わせることで,境界モデリング誤差を考慮したロボットシステムのための堅牢な安全維持コントローラのスケーラブルな合成を可能にする新しいアプローチを提案する。 ソフトアクター批判スキームの後に、設計者の不確実性によって許容されるモデルエラーとトレーニング・ツー・デプロイの不一致の最悪のケースの実現を誘発することを目的とした、敵対的「混乱」エージェントと、安全を追求するフォールバックポリシーが共同で訓練される。 学習された制御ポリシーは本質的に安全を保証しないが、前方到達性ロールアウトに基づく堅牢な安全性保証を備えたリアルタイム安全フィルタ(またはシールド)を構築するために使用される。 このシールドは、安全非依存の制御ポリシーと組み合わせて使用することができ、安全を損なう可能性のあるタスク駆動のアクションを予測できる。 5dレースカーシミュレータにおける学習に基づく安全アプローチを評価し,学習した安全ポリシーと数値的に得られた最適解を比較し,提案する安全シールドのロバストな安全性保証を,最悪のモデルの不一致に対して実証的に検証した。

関連論文リスト

• Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters [0.0]
  強化学習は複雑なシナリオに適応するためにますます使われていますが、安全性と安定性を保証するための標準フレームワークは欠如しています。 予測安全フィルタ(PSF)は、明示的な制約処理を伴わずに、学習ベースの制御における制約満足度を確保する、有望なソリューションを提供する。 この手法を海洋航法に適用し,シミュレーションされたCybership IIモデル上でRLとPSFを組み合わせた。 その結果, PSF が安全維持に有効であることは, RL エージェントの学習速度と性能を損なうことなく示され, PSF を使用せずに標準 RL エージェントに対して評価された。
  論文  参考訳（メタデータ） (2023-12-04T12:37:54Z)
• Safe Deep Policy Adaptation [7.2747306035142225]
  強化学習(RL)に基づく政策適応は、汎用性と汎用性を提供するが、安全性と堅牢性に挑戦する。 政策適応と安全強化学習の課題を同時に解決する新しいRLおよび制御フレームワークであるSafeDPAを提案する。 我々は、SafeDPAの理論的安全性を保証し、学習エラーや余分な摂動に対するSafeDPAの堅牢性を示す。
  論文  参考訳（メタデータ） (2023-10-08T00:32:59Z)
• Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning [2.422636931175853]
  あるプラントのランタイム保証システム(RTA)は、バックアップコントローラで安全性を確保しながら、信頼できないまたは実験的なコントローラの運動を可能にする。 既存のRTA設計戦略は、過度に保守的であることで知られており、原則として、安全違反につながる可能性がある。 本稿では、最適RTA設計問題を定式化し、それを解決するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-06T14:45:57Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• ProBF: Learning Probabilistic Safety Certificates with Barrier Functions [31.203344483485843]
  制御バリア関数は、地平系力学にアクセスできれば安全を保証できる便利なツールである。 実際には、システムダイナミクスに関する不正確な知識があるため、安全でない振る舞いにつながる可能性があります。 本手法の有効性をSegwayとQuadrotorのシミュレーション実験により示す。
  論文  参考訳（メタデータ） (2021-12-22T20:18:18Z)
• Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
  模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。 我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-02-18T05:11:41Z)
• Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach [2.741266294612776]
  安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。 提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。 安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
  論文  参考訳（メタデータ） (2020-02-24T09:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。