論文の概要: Reachability Analysis of Neural Networks with Uncertain Parameters
- arxiv url: http://arxiv.org/abs/2303.07917v1
- Date: Tue, 14 Mar 2023 14:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 14:42:56.764718
- Title: Reachability Analysis of Neural Networks with Uncertain Parameters
- Title（参考訳）: 不確定パラメータを持つニューラルネットワークの到達可能性解析
- Authors: Pierre-Jean Meyer
- Abstract要約: 本稿では,ニューラルネットワークの到達可能性解析に新たな2つのアプローチを導入する。
本稿では,重みと偏りの不確かさに対処する場合に,その状況が大きく逆転することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The literature on reachability analysis methods for neural networks currently
only focuses on uncertainties on the network's inputs. In this paper, we
introduce two new approaches for the reachability analysis of neural networks
with additional uncertainties on their internal parameters (weight matrices and
bias vectors of each layer), which may open the field of formal methods on
neural networks to new topics, such as safe training or network repair. The
first and main method that we propose relies on existing reachability analysis
approach based on mixed monotonicity (initially introduced for dynamical
systems). The second proposed approach extends the ESIP (Error-based Symbolic
Interval Propagation) approach which was first implemented in the verification
tool Neurify, and first mentioned in the publication of the tool VeriNet.
Although the ESIP approach has been shown to often outperform the
mixed-monotonicity reachability analysis in the classical case with
uncertainties only on the network's inputs, we show in this paper through
numerical simulations that the situation is greatly reversed (in terms of
precision, computation time, memory usage, and broader applicability) when
dealing with uncertainties on the weights and biases.
- Abstract（参考訳）: ニューラルネットワークの到達可能性分析手法に関する文献は、現在、ネットワークの入力の不確実性のみに焦点を当てている。
本稿では,ニューラルネットワークの到達性解析に新たな2つのアプローチを導入し,内部パラメータ(各層の重み行列とバイアスベクトル)に不確実性を加えることにより,ニューラルネットワークの形式的手法の分野を,安全なトレーニングやネットワーク修復といった新たなトピックに開放する。
最初に提案する手法は,混合単調性(最初は力学系に導入)に基づく既存の到達可能性解析手法に依存する。
2つ目の提案されたアプローチは、検証ツールNeurifyで最初に実装されたESIP(エラーベースのシンボリックインターバル伝搬)アプローチを拡張し、ツールVeriNetで最初に言及された。
ESIP手法は,ネットワークの入力にのみ不確実性を有する古典的ケースにおいて,混合単調性到達可能性解析よりも優れていることがしばしば示されているが,本論文では,重みとバイアスの不確実性を扱う場合の状況(精度,計算時間,メモリ使用量,より広い適用性)が大幅に逆転していることを示す数値シミュレーションを通して示す。
関連論文リスト
- Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
論文 参考訳（メタデータ） (2024-09-08T22:27:50Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Stabilizing RNN Gradients through Pre-training [3.335932527835653]
学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。
我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。
本稿では,この問題を緩和するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-23T11:48:35Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Analytic Mutual Information in Bayesian Neural Networks [0.8122270502556371]
相互情報は、不確実性を定量化するベイズニューラルネットワークにおける不確実性尺度の例である。
我々は,点過程のエントロピーの概念を利用して,モデルパラメータと予測出力の相互情報の解析式を導出する。
応用として,ディリクレパラメータの推定について考察し,アクティブラーニングの不確実性対策における実例を示す。
論文 参考訳（メタデータ） (2022-01-24T17:30:54Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - A scalable multi-step least squares method for network identification
with unknown disturbance topology [0.0]
本稿では,既知のネットワークトポロジを持つ動的ネットワークの同定手法を提案する。
階調雑音の低減に多段階連続・ヌル空間フィッティング法を用いる。
明示的なBoxモデル構造情報性を含む一貫性証明を提供する。
論文 参考訳（メタデータ） (2021-06-14T16:12:49Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。
本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文 参考訳（メタデータ） (2020-09-21T16:32:04Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。