論文の概要: Verification-Aided Learning of Neural Network Barrier Functions with Termination Guarantees

• arxiv url: http://arxiv.org/abs/2403.07308v1
• Date: Tue, 12 Mar 2024 04:29:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:52:19.602434
• Title: Verification-Aided Learning of Neural Network Barrier Functions with Termination Guarantees
• Title（参考訳）: 終了保証付きニューラルネットワーク障壁関数の検証支援学習
• Authors: Shaoru Chen, Lekan Molu, Mahyar Fazlyab
• Abstract要約: バリア関数は、システムの安全性を保証するための一般的なフレームワークである。 これらの関数を見つける一般的な方法は存在しない。 近年のアプローチでは、自己教師付き学習技術を用いてこれらの機能を学習している。
• 参考スコア（独自算出の注目度）: 6.9060054915724
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Barrier functions are a general framework for establishing a safety guarantee for a system. However, there is no general method for finding these functions. To address this shortcoming, recent approaches use self-supervised learning techniques to learn these functions using training data that are periodically generated by a verification procedure, leading to a verification-aided learning framework. Despite its immense potential in automating barrier function synthesis, the verification-aided learning framework does not have termination guarantees and may suffer from a low success rate of finding a valid barrier function in practice. In this paper, we propose a holistic approach to address these drawbacks. With a convex formulation of the barrier function synthesis, we propose to first learn an empirically well-behaved NN basis function and then apply a fine-tuning algorithm that exploits the convexity and counterexamples from the verification failure to find a valid barrier function with finite-step termination guarantees: if there exist valid barrier functions, the fine-tuning algorithm is guaranteed to find one in a finite number of iterations. We demonstrate that our fine-tuning method can significantly boost the performance of the verification-aided learning framework on examples of different scales and using various neural network verifiers.
• Abstract（参考訳）: バリア機能は、システムの安全性を保証するための一般的なフレームワークである。 しかし、これらの関数を見つける一般的な方法は存在しない。 この欠点に対処するために、近年のアプローチでは、検証手順によって定期的に生成されるトレーニングデータを用いて、自己教師付き学習技術を用いてこれらの機能を学ぶ。 バリア関数を自動生成する大きな可能性にもかかわらず、検証支援学習フレームワークは終端保証を持っておらず、実際に有効なバリア関数を見つけるための成功率が低い。 本稿では,これらの欠点に対処する包括的アプローチを提案する。 バリア関数合成の凸定式化により、まず経験的によく定義されたNN基底関数を学習し、検証失敗から凸性と反例を利用する微調整アルゴリズムを適用し、有限ステップ終端保証付き有効なバリア関数を見つける: 有効なバリア関数が存在する場合、その微細調整アルゴリズムは有限イテレーションでその関数を見つけることが保証される。 本手法は,検証支援学習フレームワークの性能を,異なる尺度の例や様々なニューラルネットワーク検証器を用いて大幅に向上させることができることを示す。

関連論文リスト

• Benefits of Monotonicity in Safe Exploration with Gaussian Processes [50.71125084216603]
  動作の集合上で未知の関数を逐次最大化する問題を考察する。 M-SafeUCBは、安全性、適切に定義された後悔の念、安全境界全体の発見という理論的な保証を享受していることを示す。
  論文  参考訳（メタデータ） (2022-11-03T02:52:30Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Safety Certification for Stochastic Systems via Neural Barrier Functions [3.7491936479803054]
  バリア関数は、非線形システムに対する非自明な安全性証明を提供するために使用できる。 ニューラルネットワークとしてバリア関数をパラメータ化することにより、ニューラルネットワークの堅牢なトレーニングを成功させてバリア関数を見つけることができることを示す。 提案手法は,いくつかのケーススタディにおいて既存の手法よりも優れており,桁違いに大きい安全証明書を返却することが多い。
  論文  参考訳（メタデータ） (2022-06-03T09:06:02Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Safety and Liveness Guarantees through Reach-Avoid Reinforcement Learning [24.56889192688925]
  リーチ・アビド最適制御問題は、自律ロボットシステムの安全性と生存性保証の中心である。 性能目標を用いた最適制御問題を概ね解くための強化学習手法の最近の成功は、その認証問題への適用を魅力的にしている。 最近の研究は、安全型問題を扱うための強化学習機械の拡張を約束しており、その目的は和ではなく、時間とともに最小限(または最大)である。
  論文  参考訳（メタデータ） (2021-12-23T00:44:38Z)
• Part-X: A Family of Stochastic Algorithms for Search-Based Test Generation with Probabilistic Guarantees [3.9119084077397863]
  ファルシフィケーションはサイバー物理システムにおける誤動作を発見するための実用的で効果的な方法であることが証明されている。 ファルシフィケーション法の性能と適用性は常に改善されているにもかかわらず、それらは共通の特徴を共有している。 テスト予算が枯渇したときの誤動作(偽装者)の欠如を保証しない最善策である。
  論文  参考訳（メタデータ） (2021-10-20T19:05:00Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Learning Control Barrier Functions from Expert Demonstrations [69.23675822701357]
  制御障壁関数(CBF)に基づく安全な制御器合成のための学習に基づくアプローチを提案する。 最適化に基づくCBFの学習手法を解析し、基礎となる力学系のリプシッツ仮定の下で証明可能な安全保証を享受する。 私たちの知る限りでは、これらはデータから確実に安全な制御障壁関数を学習する最初の結果です。
  論文  参考訳（メタデータ） (2020-04-07T12:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。