論文の概要: Reachability analysis of neural networks using mixed monotonicity
- arxiv url: http://arxiv.org/abs/2111.07683v1
- Date: Mon, 15 Nov 2021 11:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 17:30:25.590458
- Title: Reachability analysis of neural networks using mixed monotonicity
- Title（参考訳）: 混合単調性を用いたニューラルネットワークの到達可能性解析
- Authors: Pierre-Jean Meyer
- Abstract要約: 本稿では,入力不確実性の条件下でのフィードフォワードニューラルネットワークの出力集合の過度近似を計算するための新しい到達可能性解析ツールを提案する。
提案手法は、力学系の到達可能性解析のための既存の混合単調性法をニューラルネットワークに適用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a new reachability analysis tool to compute an interval
over-approximation of the output set of a feedforward neural network under
given input uncertainty. The proposed approach adapts to neural networks an
existing mixed-monotonicity method for the reachability analysis of dynamical
systems and applies it to all possible partial networks within the given neural
network. This ensures that the intersection of the obtained results is the
tightest interval over-approximation of the output of each layer that can be
obtained using mixed-monotonicity. Unlike other tools in the literature that
focus on small classes of piecewise-affine or monotone activation functions,
the main strength of our approach is its generality in the sense that it can
handle neural networks with any Lipschitz-continuous activation function. In
addition, the simplicity of the proposed framework allows users to very easily
add unimplemented activation functions, by simply providing the function, its
derivative and the global extrema and corresponding arguments of the
derivative. Our algorithm is tested and compared to five other interval-based
tools on 1000 randomly generated neural networks for four activation functions
(ReLU, TanH, ELU, SiLU). We show that our tool always outperforms the Interval
Bound Propagation method and that we obtain tighter output bounds than ReluVal,
Neurify, VeriNet and CROWN (when they are applicable) in 15 to 60 percent of
cases.
- Abstract（参考訳）: 本稿では,入力不確実性条件下でのフィードフォワードニューラルネットワークの出力集合の過度近似を計算するための新しい到達可能性解析ツールを提案する。
提案手法は,既存の混合単調法をニューラルネットワークに適用して動的システムの到達可能性解析を行い,与えられたニューラルネットワーク内の任意の部分ネットワークに適用する。
これにより、得られた結果の交叉が混合単調性を用いて得られる各層の出力の最も狭い間隔オーバー近似であることが保証される。
リプシッツ連続活性化関数でニューラルネットワークを処理できるという意味では,本手法の主な強みは,小片方向アフィンあるいはモノトン活性化関数の小さなクラスに焦点を当てた他の文献のツールと異なり,その一般化である。
さらに,提案フレームワークのシンプルさにより,関数,その微分,大域的極限,およびそれに対応する引数を提供することで,実装されていないアクティベーション関数をユーザが簡単に追加することができる。
このアルゴリズムは4つのアクティベーション関数(relu, tanh, elu, silu)のための1000個のランダム生成ニューラルネットワーク上で,他の5つのインターバルベースツールと比較した。
我々のツールは、常にインターバルバウンド伝搬法より優れており、ReluVal、Neurify、VeriNet、CROWN(適用可能な場合)よりも、15%から60%のケースで出力バウンダリが得られることを示す。
関連論文リスト
- Deep Learning without Global Optimization by Random Fourier Neural Networks [0.0]
本稿では、ランダムな複雑な指数関数活性化関数を利用する様々なディープニューラルネットワークのための新しいトレーニングアルゴリズムを提案する。
提案手法では,マルコフ連鎖モンテカルロサンプリング法を用いてネットワーク層を反復的に訓練する。
複雑な指数的活性化関数を持つ残留ネットワークの理論的近似速度を一貫して達成する。
論文 参考訳（メタデータ） (2024-07-16T16:23:40Z) - Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis [6.9060054915724]
本稿では,アクティベーションの異なるニューラルネットワークに適した新しい到達可能性解析手法を提案する。
本手法の重要な特徴は,活性化関数のループ変換により,その単調性を効果的に活用することである。
結果として得られるエンドツーエンドの抽象化は、微分情報を局所的に保存し、小さな入力集合に正確な境界を与える。
論文 参考訳（メタデータ） (2024-06-06T20:02:49Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Open- and Closed-Loop Neural Network Verification using Polynomial
Zonotopes [6.591194329459251]
本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。
特に,各ニューロンの入力出力関係を近似を用いて評価する。
その結果、他の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2022-07-06T14:39:19Z) - Simultaneous approximation of a smooth function and its derivatives by
deep neural networks with piecewise-polynomial activations [2.15145758970292]
我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
論文 参考訳（メタデータ） (2022-06-20T01:18:29Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。