論文の概要: Optimal Transport Perturbations for Safe Reinforcement Learning with
Robustness Guarantees
- arxiv url: http://arxiv.org/abs/2301.13375v1
- Date: Tue, 31 Jan 2023 02:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 17:51:55.553122
- Title: Optimal Transport Perturbations for Safe Reinforcement Learning with
Robustness Guarantees
- Title(参考訳): ロバスト性保証を用いた安全強化学習のための最適輸送摂動
- Authors: James Queeney, Erhan Can Ozcan, Ioannis Ch. Paschalidis, Christos G.
Cassandras
- Abstract要約: 本稿では,最適な輸送コストの不確実性セットを用いて,ロバスト性を保証する安全な強化学習フレームワークを提案する。
実世界強化学習スイート(Real-World Reinforcement Learning Suite)において、安全性に制約のあるさまざまな継続的制御タスクに対する、我々のアプローチの堅牢で安全なパフォーマンスを実証する。
- 参考スコア(独自算出の注目度): 9.742764207747697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robustness and safety are critical for the trustworthy deployment of deep
reinforcement learning in real-world decision making applications. In
particular, we require algorithms that can guarantee robust, safe performance
in the presence of general environment disturbances, while making limited
assumptions on the data collection process during training. In this work, we
propose a safe reinforcement learning framework with robustness guarantees
through the use of an optimal transport cost uncertainty set. We provide an
efficient, theoretically supported implementation based on Optimal Transport
Perturbations, which can be applied in a completely offline fashion using only
data collected in a nominal training environment. We demonstrate the robust,
safe performance of our approach on a variety of continuous control tasks with
safety constraints in the Real-World Reinforcement Learning Suite.
- Abstract(参考訳): 強固さと安全性は、現実世界の意思決定アプリケーションにおける深層強化学習の信頼性の高い展開に不可欠である。
特に、トレーニング中のデータ収集プロセスに限定的な仮定をしながら、一般的な環境障害が存在する場合の堅牢で安全なパフォーマンスを保証するアルゴリズムが必要である。
本研究では,最適輸送コスト不確実性セットを用いて,堅牢性を保証する安全強化学習フレームワークを提案する。
名目訓練環境で収集されたデータのみを使用して完全にオフラインで適用可能な最適輸送摂動に基づく効率的かつ理論的に支援された実装を提供する。
我々は,実世界の強化学習スイートにおいて,安全制約を伴う各種連続制御タスクにおけるロバストで安全な手法の性能を示す。
関連論文リスト
- Towards Safe Load Balancing based on Control Barrier Functions and Deep
Reinforcement Learning [0.691367883100748]
我々は,SD-WAN(Software Defined-Wide Area Network)のための安全な学習に基づくロードバランシングアルゴリズムを提案する。
制御バリア関数(CBF)を併用した深層強化学習(DRL)によって強化される。
提案手法は,リンク容量制約に関する安全性要件を尊重しつつ,エンドツーエンドの遅延の観点から,ほぼ最適品質(QoS)を提供することを示す。
論文 参考訳(メタデータ) (2024-01-10T19:43:12Z) - Searching for Optimal Runtime Assurance via Reachability and
Reinforcement Learning [2.422636931175853]
あるプラントのランタイム保証システム(RTA)は、バックアップコントローラで安全性を確保しながら、信頼できないまたは実験的なコントローラの運動を可能にする。
既存のRTA設計戦略は、過度に保守的であることで知られており、原則として、安全違反につながる可能性がある。
本稿では、最適RTA設計問題を定式化し、それを解決するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-06T14:45:57Z) - Iterative Reachability Estimation for Safe Reinforcement Learning [23.942701020636882]
安全制約付き強化学習(RL)環境のための新しいフレームワークRESPO(Reachability Estimation for Safe Policy Optimization)を提案する。
違反のないポリシーが存在する現実的な環境では、永続的な安全を維持しながら報酬を最適化します。
安全ガイム, PyBullet, および MuJoCo を用いた安全RL環境の多種多様な構成について, 提案手法の評価を行った。
論文 参考訳(メタデータ) (2023-09-24T02:36:42Z) - Risk-Averse Model Uncertainty for Distributionally Robust Safe
Reinforcement Learning [3.9821399546174825]
不確実な環境での安全な意思決定のための深層強化学習フレームワークを提案する。
我々は,このフレームワークに対して,分散的に堅牢な強化学習問題の特定のクラスと等価であることを示すことによって,堅牢性を保証する。
安全性の制約のある継続的制御タスクの実験では、当社のフレームワークが、さまざまな障害のあるテスト環境にわたるデプロイメント時に、堅牢なパフォーマンスと安全性を実現していることを示す。
論文 参考訳(メタデータ) (2023-01-30T00:37:06Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement
Learning in Unknown Stochastic Environments [84.3830478851369]
本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。
本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
論文 参考訳(メタデータ) (2022-09-29T20:49:25Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2022-07-04T11:43:23Z) - Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。
我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
論文 参考訳(メタデータ) (2021-02-18T05:11:41Z) - Context-Aware Safe Reinforcement Learning for Non-Stationary
Environments [24.75527261989899]
現実的なタスクのために強化学習エージェントを展開する場合、安全は重要な問題である。
非定常環境における安全な適応を実現するために,文脈認識型安全強化学習法(CASRL)を提案する。
提案アルゴリズムは,安全性とロバスト性の観点から,既存のベースラインを著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-01-02T23:52:22Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳(メタデータ) (2020-10-27T17:54:25Z) - Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。
理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文 参考訳(メタデータ) (2020-02-26T00:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。