論文の概要: Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach

• arxiv url: http://arxiv.org/abs/2208.03889v1
• Date: Mon, 8 Aug 2022 03:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 14:32:38.293079
• Title: Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach
• Title（参考訳）: 入射ニューラルネットワークのロバストトレーニングと検証:非ユークリッド縮尺的アプローチ
• Authors: Saber Jafarpour and Alexander Davydov and Matthew Abate and Francesco Bullo and Samuel Coogan
• Abstract要約: 本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
• 参考スコア（独自算出の注目度）: 64.23331120621118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a theoretical and computational framework for training and robustness verification of implicit neural networks based upon non-Euclidean contraction theory. The basic idea is to cast the robustness analysis of a neural network as a reachability problem and use (i) the $\ell_{\infty}$-norm input-output Lipschitz constant and (ii) the tight inclusion function of the network to over-approximate its reachable sets. First, for a given implicit neural network, we use $\ell_{\infty}$-matrix measures to propose sufficient conditions for its well-posedness, design an iterative algorithm to compute its fixed points, and provide upper bounds for its $\ell_\infty$-norm input-output Lipschitz constant. Second, we introduce a related embedded network and show that the embedded network can be used to provide an $\ell_\infty$-norm box over-approximation of the reachable sets of the original network. Moreover, we use the embedded network to design an iterative algorithm for computing the upper bounds of the original system's tight inclusion function. Third, we use the upper bounds of the Lipschitz constants and the upper bounds of the tight inclusion functions to design two algorithms for the training and robustness verification of implicit neural networks. Finally, we apply our algorithms to train implicit neural networks on the MNIST dataset and compare the robustness of our models with the models trained via existing approaches in the literature.
• Abstract（参考訳）: 本稿では,非ユークリッド縮尺理論に基づく暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 ニューラルネットワークのロバスト性解析を到達可能性問題として用いるという基本的な考え方 i) $\ell_{\infty}$-norm 入力出力リプシッツ定数と (ii) 到達可能な集合を過度に近似するネットワークの密包含関数。 まず、与えられた暗黙的ニューラルネットワークに対して、$\ell_{\infty}$-matrix測度を用いて、その適切性に対する十分な条件を提案し、その不動点を計算するための反復アルゴリズムを設計し、$\ell_\infty$-normの入力出力リプシッツ定数の上限を与える。 第2に,関連する組込みネットワークを導入し,組込みネットワークが,元のネットワークの到達可能な集合を近似する$\ell_\infty$-normボックスを提供することができることを示す。 さらに、組込みネットワークを用いて、元のシステムの密包摂関数の上界を計算するための反復アルゴリズムを設計する。 第3に、暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための2つのアルゴリズムを設計するために、リプシッツ定数の上界と強包含関数の上界を用いる。 最後に,mnistデータセット上の暗黙的ニューラルネットワークのトレーニングにアルゴリズムを適用し,既存のアプローチで学習したモデルとモデルの堅牢性を比較した。

関連論文リスト

• Computable Lipschitz Bounds for Deep Neural Networks [0.0]
  我々は$l2$ノルムのために書かれた3つの既存の上限を分析する。 本稿では,フィードフォワード完全接続ニューラルネットワークと畳み込みニューラルネットワークの2つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:09:46Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。