論文の概要: Reachability Analysis of Neural Networks with Uncertain Parameters
- arxiv url: http://arxiv.org/abs/2303.07917v1
- Date: Tue, 14 Mar 2023 14:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 14:42:56.764718
- Title: Reachability Analysis of Neural Networks with Uncertain Parameters
- Title（参考訳）: 不確定パラメータを持つニューラルネットワークの到達可能性解析
- Authors: Pierre-Jean Meyer
- Abstract要約: 本稿では,ニューラルネットワークの到達可能性解析に新たな2つのアプローチを導入する。
本稿では,重みと偏りの不確かさに対処する場合に,その状況が大きく逆転することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The literature on reachability analysis methods for neural networks currently
only focuses on uncertainties on the network's inputs. In this paper, we
introduce two new approaches for the reachability analysis of neural networks
with additional uncertainties on their internal parameters (weight matrices and
bias vectors of each layer), which may open the field of formal methods on
neural networks to new topics, such as safe training or network repair. The
first and main method that we propose relies on existing reachability analysis
approach based on mixed monotonicity (initially introduced for dynamical
systems). The second proposed approach extends the ESIP (Error-based Symbolic
Interval Propagation) approach which was first implemented in the verification
tool Neurify, and first mentioned in the publication of the tool VeriNet.
Although the ESIP approach has been shown to often outperform the
mixed-monotonicity reachability analysis in the classical case with
uncertainties only on the network's inputs, we show in this paper through
numerical simulations that the situation is greatly reversed (in terms of
precision, computation time, memory usage, and broader applicability) when
dealing with uncertainties on the weights and biases.
- Abstract（参考訳）: ニューラルネットワークの到達可能性分析手法に関する文献は、現在、ネットワークの入力の不確実性のみに焦点を当てている。
本稿では,ニューラルネットワークの到達性解析に新たな2つのアプローチを導入し,内部パラメータ(各層の重み行列とバイアスベクトル)に不確実性を加えることにより,ニューラルネットワークの形式的手法の分野を,安全なトレーニングやネットワーク修復といった新たなトピックに開放する。
最初に提案する手法は,混合単調性(最初は力学系に導入)に基づく既存の到達可能性解析手法に依存する。
2つ目の提案されたアプローチは、検証ツールNeurifyで最初に実装されたESIP(エラーベースのシンボリックインターバル伝搬)アプローチを拡張し、ツールVeriNetで最初に言及された。
ESIP手法は,ネットワークの入力にのみ不確実性を有する古典的ケースにおいて,混合単調性到達可能性解析よりも優れていることがしばしば示されているが,本論文では,重みとバイアスの不確実性を扱う場合の状況(精度,計算時間,メモリ使用量,より広い適用性)が大幅に逆転していることを示す数値シミュレーションを通して示す。
関連論文リスト
- Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Analytic Mutual Information in Bayesian Neural Networks [0.8122270502556371]
相互情報は、不確実性を定量化するベイズニューラルネットワークにおける不確実性尺度の例である。
我々は,点過程のエントロピーの概念を利用して,モデルパラメータと予測出力の相互情報の解析式を導出する。
応用として,ディリクレパラメータの推定について考察し,アクティブラーニングの不確実性対策における実例を示す。
論文 参考訳（メタデータ） (2022-01-24T17:30:54Z) - Learning Aggregations of Binary Activated Neural Networks with
Probabilities over Representations [3.2840450525142666]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - A scalable multi-step least squares method for network identification
with unknown disturbance topology [0.0]
本稿では,既知のネットワークトポロジを持つ動的ネットワークの同定手法を提案する。
階調雑音の低減に多段階連続・ヌル空間フィッティング法を用いる。
明示的なBoxモデル構造情報性を含む一貫性証明を提供する。
論文 参考訳（メタデータ） (2021-06-14T16:12:49Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for
Neural Networks [9.43712471169533]
まず、完全連結、残留ネットワーク(ResNet)、密結合ネットワーク(DenseNet)を含むニューラルネットワークモデルの新しいグラフ理論的定式化について述べる。
本研究では,2層ネットワークであるprioritwoとresnetcitee 2019prioriresの集団リスクの誤差解析をdrknetに拡張し,一定の軽度条件を満たすニューラルネットワークでは同様の推定が得られることを示す。
論文 参考訳（メタデータ） (2021-03-30T13:54:33Z) - Identifying Untrustworthy Predictions in Neural Networks by Geometric
Gradient Analysis [4.148327474831389]
本稿では,モデルの再学習を伴わない信頼できない予測の同定を改善するため,幾何勾配解析(GGA)を提案する。
提案手法は, OODデータ検出や敵対的攻撃において, 先行アプローチを上回っていることを実証した。
論文 参考訳（メタデータ） (2021-02-24T10:49:02Z) - Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。
本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文 参考訳（メタデータ） (2020-09-21T16:32:04Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。