論文の概要: Safe and Reliable Training of Learning-Based Aerospace Controllers

• arxiv url: http://arxiv.org/abs/2407.07088v1
• Date: Tue, 9 Jul 2024 17:58:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 16:57:59.112612
• Title: Safe and Reliable Training of Learning-Based Aerospace Controllers
• Title（参考訳）: 学習型航空宇宙制御装置の安全性と信頼性
• Authors: Udayan Mandal, Guy Amir, Haoze Wu, Ieva Daukantas, Fletcher Lee Newell, Umberto Ravaioli, Baoluo Meng, Michael Durling, Kerianne Hobbs, Milan Ganai, Tobey Shim, Guy Katz, Clark Barrett,
• Abstract要約: 本稿では,DRLコントローラのトレーニングと検証の両面での新たな進歩を示す。 k-induction を用いた実生性検証手法を実証し,その実生性検証への応用を実証する。 また、ニューラルネットワークのLyapunov Barrier証明書の概要と、その機能の概要も紹介する。
• 参考スコア（独自算出の注目度）: 2.0159768535123557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep reinforcement learning (DRL) approaches have generated highly successful controllers for a myriad of complex domains. However, the opaque nature of these models limits their applicability in aerospace systems and safety-critical domains, in which a single mistake can have dire consequences. In this paper, we present novel advancements in both the training and verification of DRL controllers, which can help ensure their safe behavior. We showcase a design-for-verification approach utilizing k-induction and demonstrate its use in verifying liveness properties. In addition, we also give a brief overview of neural Lyapunov Barrier certificates and summarize their capabilities on a case study. Finally, we describe several other novel reachability-based approaches which, despite failing to provide guarantees of interest, could be effective for verification of other DRL systems, and could be of further interest to the community.
• Abstract（参考訳）: 近年、深層強化学習(DRL)アプローチは、多くの複雑なドメインに対して高い成功率のコントローラを生み出している。 しかしながら、これらのモデルの不透明な性質は、一つの誤りが恐ろしい結果をもたらすような、航空宇宙システムや安全クリティカルドメインにおける適用性を制限している。 本稿では,DRLコントローラのトレーニングと検証の両面での新たな進歩について述べる。 k-induction を用いた実生性検証手法を実証し,その実生性検証への応用を実証する。 さらに,神経リプノフバリア認証について概説し,その能力について事例スタディで概説する。 最後に,他のDRLシステムの検証に有効であり,コミュニティにさらなる関心を抱く可能性のある,新たな到達可能性に基づくアプローチについて述べる。

関連論文リスト

• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Verified Safe Reinforcement Learning for Neural Network Dynamic Models [31.245563229976145]
  本稿では,非線形神経力学系における安全な制御ポリシーを学習するための新しいアプローチを提案する。 提案手法は,有限水平到達性という意味での安全性の実現を目的としている。 5つの安全な制御問題に関する実験は、我々の訓練されたコントローラーが、最先端のベースラインよりも桁違いに長い水平線上で検証された安全性を達成できることを実証している。
  論文  参考訳（メタデータ） (2024-05-25T00:35:39Z)
• Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical Systems [15.863561935347692]
  非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。 制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。 我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:39:20Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Towards Scalable Verification of RL-Driven Systems [4.984294363450854]
  whiRL 2.0は、深層強化学習システムにおいて、興味のある複雑な特性を検証するための新しいアプローチを実装するツールである。 提案手法がDRLシステムの内部動作と一般化可能性に関する洞察をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2021-05-25T13:34:40Z)
• Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning [0.0]
  高品質の安全シールドを合成できる自動検証パイプラインを提案します。 私たちの重要な洞察は、事前に計算された安全シールドを使用して神経コントローラのトレーニングを制限し、神経コントローラから安全検証を分離することを含みます。 実測的な高次元深部RLベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-20T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。