論文の概要: Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies
- arxiv url: http://arxiv.org/abs/2406.00826v1
- Date: Sun, 2 Jun 2024 18:19:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 03:16:50.549631
- Title: Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies
- Title（参考訳）: ニューラルネットワークによる確率力学系の学習による検証
- Authors: Thom Badings, Wietze Koops, Sebastian Junges, Nils Jansen,
- Abstract要約: 我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。
リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
- 参考スコア（独自算出の注目度）: 7.9898826915621965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the verification of neural network policies for reach-avoid control tasks in stochastic dynamical systems. We use a verification procedure that trains another neural network, which acts as a certificate proving that the policy satisfies the task. For reach-avoid tasks, it suffices to show that this certificate network is a reach-avoid supermartingale (RASM). As our main contribution, we significantly accelerate algorithmic approaches for verifying that a neural network is indeed a RASM. The main bottleneck of these approaches is the discretization of the state space of the dynamical system. The following two key contributions allow us to use a coarser discretization than existing approaches. First, we present a novel and fast method to compute tight upper bounds on Lipschitz constants of neural networks based on weighted norms. We further improve these bounds on Lipschitz constants based on the characteristics of the certificate network. Second, we integrate an efficient local refinement scheme that dynamically refines the state space discretization where necessary. Our empirical evaluation shows the effectiveness of our approach for verifying neural network policies in several benchmarks and trained with different reinforcement learning algorithms.
- Abstract（参考訳）: 確率力学系における到達回避制御タスクに対するニューラルネットワークポリシの検証について検討する。
我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。
リーチ回避タスクでは、この認証ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
主な貢献として、ニューラルネットワークがRASMであることを検証するためのアルゴリズムアプローチを著しく加速します。
これらのアプローチの主なボトルネックは、力学系の状態空間の離散化である。
以下の2つの重要なコントリビューションにより、既存のアプローチよりも粗い離散化が利用できます。
まず、重み付きノルムに基づくニューラルネットワークのリプシッツ定数の厳密な上限を計算する新しい高速な手法を提案する。
証明ネットワークの特性に基づいてリプシッツ定数のこれらの境界をさらに改善する。
第2に、必要なときに状態空間の離散化を動的に洗練する効率的な局所精錬手法を統合する。
実験的な評価は、ニューラルネットワークポリシーを複数のベンチマークで検証し、異なる強化学習アルゴリズムでトレーニングする手法の有効性を示している。
関連論文リスト
- Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Enhanced quantum state preparation via stochastic prediction of neural
network [0.8287206589886881]
本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。
本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。
ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
論文 参考訳（メタデータ） (2023-07-27T09:11:53Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [137.04558017227583]
ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。
我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。
神経性交流は,大域的最適政策をサブ線形速度で求める。
論文 参考訳（メタデータ） (2021-12-27T06:09:50Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Certifying Incremental Quadratic Constraints for Neural Networks via
Convex Optimization [2.388501293246858]
我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。
証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
論文 参考訳（メタデータ） (2020-12-10T21:15:00Z) - An SMT-Based Approach for Verifying Binarized Neural Networks [1.4394939014120451]
本稿では,SMTを用いた二元化ニューラルネットワークの検証手法を提案する。
我々の手法の1つの新しい点は、二項化コンポーネントと非二項化コンポーネントの両方を含むニューラルネットワークの検証を可能にすることである。
我々は、この手法をマラブーフレームワークの拡張として実装し、一般的な二項化ニューラルネットワークアーキテクチャのアプローチを評価する。
論文 参考訳（メタデータ） (2020-11-05T16:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。