論文の概要: Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach
- arxiv url: http://arxiv.org/abs/2112.05310v1
- Date: Fri, 10 Dec 2021 03:08:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-13 15:49:53.588825
- Title: Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach
- Title（参考訳）: 暗黙的ニューラルネットワークのためのロバスト性証明:混合単調契約的アプローチ
- Authors: Saber Jafarpour, Matthew Abate, Alexander Davydov, Francesco Bullo,
Samuel Coogan
- Abstract要約: 暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
- 参考スコア（独自算出の注目度）: 60.67748036747221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural networks are a general class of learning models that replace
the layers in traditional feedforward models with implicit algebraic equations.
Compared to traditional learning models, implicit networks offer competitive
performance and reduced memory consumption. However, they can remain brittle
with respect to input adversarial perturbations.
This paper proposes a theoretical and computational framework for robustness
verification of implicit neural networks; our framework blends together mixed
monotone systems theory and contraction theory. First, given an implicit neural
network, we introduce a related embedded network and show that, given an
$\ell_\infty$-norm box constraint on the input, the embedded network provides
an $\ell_\infty$-norm box overapproximation for the output of the given
network. Second, using $\ell_{\infty}$-matrix measures, we propose sufficient
conditions for well-posedness of both the original and embedded system and
design an iterative algorithm to compute the $\ell_{\infty}$-norm box
robustness margins for reachability and classification problems. Third, of
independent value, we propose a novel relative classifier variable that leads
to tighter bounds on the certified adversarial robustness in classification
problems. Finally, we perform numerical simulations on a Non-Euclidean Monotone
Operator Network (NEMON) trained on the MNIST dataset. In these simulations, we
compare the accuracy and run time of our mixed monotone contractive approach
with the existing robustness verification approaches in the literature for
estimating the certified adversarial robustness.
- Abstract（参考訳）: 入射ニューラルネットワークは、従来のフィードフォワードモデルの層を暗黙の代数方程式で置き換える学習モデルの一般的なクラスである。
従来の学習モデルと比較して、暗黙のネットワークは競合性能とメモリ消費の削減を提供する。
しかし、それらは入力の敵対的摂動に関して不安定であり続けることができる。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
まず、暗黙的なニューラルネットワークが与えられたとき、関連する組込みネットワークを導入し、入力に対する$\ell_\infty$-normボックス制約が与えられると、組込みネットワークは、与えられたネットワークの出力に対して$\ell_\infty$-normボックスをオーバー近似する。
第二に、$\ell_{\infty}$-matrix測度を用いて、元のシステムと組込みシステムの両立に十分な条件を提案し、到達可能性と分類問題に対する$\ell_{\infty}$-normボックスの頑健性マージンを計算する反復アルゴリズムを設計する。
第3に、独立な値を持つ新しい相対分類器変数を提案し、分類問題における証明された対角的堅牢性に厳密な境界をもたらす。
最後に,MNISTデータセットに基づいて訓練したNon-Euclidean Monotone Operator Network(NEMON)の数値シミュレーションを行った。
これらのシミュレーションでは, 混合単調収縮アプローチの精度と実行時間を比較し, 既存のロバスト性検証手法を用いて, 認証された対向的ロバストネスを推定する。
関連論文リスト
- Chaos Theory and Adversarial Robustness [0.0]
本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。
我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
論文 参考訳（メタデータ） (2022-10-20T03:39:44Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity
Data [0.0]
高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。
本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。
これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
論文 参考訳（メタデータ） (2021-05-27T08:56:17Z) - An Orthogonal Classifier for Improving the Adversarial Robustness of
Neural Networks [21.13588742648554]
近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。
我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。
我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
論文 参考訳（メタデータ） (2021-05-19T13:12:14Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z) - Monotone operator equilibrium networks [97.86610752856987]
我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。
暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。
次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:57:31Z) - Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。
任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。
この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
論文 参考訳（メタデータ） (2020-04-13T13:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。