論文の概要: Robust Implicit Networks via Non-Euclidean Contractions
- arxiv url: http://arxiv.org/abs/2106.03194v1
- Date: Sun, 6 Jun 2021 18:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:18:32.674443
- Title: Robust Implicit Networks via Non-Euclidean Contractions
- Title（参考訳）: 非ユークリッド縮約によるロバストインシシットネットワーク
- Authors: Saber Jafarpour, Alexander Davydov, Anton V. Proskurnikov, Francesco
Bullo
- Abstract要約: 暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
- 参考スコア（独自算出の注目度）: 63.91638306025768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit neural networks, a.k.a., deep equilibrium networks, are a class of
implicit-depth learning models where function evaluation is performed by
solving a fixed point equation. They generalize classic feedforward models and
are equivalent to infinite-depth weight-tied feedforward networks. While
implicit models show improved accuracy and significant reduction in memory
consumption, they can suffer from ill-posedness and convergence instability.
This paper provides a new framework to design well-posed and robust implicit
neural networks based upon contraction theory for the non-Euclidean norm
$\ell_\infty$. Our framework includes (i) a novel condition for well-posedness
based on one-sided Lipschitz constants, (ii) an average iteration for computing
fixed-points, and (iii) explicit estimates on input-output Lipschitz constants.
Additionally, we design a training problem with the well-posedness condition
and the average iteration as constraints and, to achieve robust models, with
the input-output Lipschitz constant as a regularizer. Our $\ell_\infty$
well-posedness condition leads to a larger polytopic training search space than
existing conditions and our average iteration enjoys accelerated convergence.
Finally, we perform several numerical experiments for function estimation and
digit classification through the MNIST data set. Our numerical results
demonstrate improved accuracy and robustness of the implicit models with
smaller input-output Lipschitz bounds.
- Abstract（参考訳）: 入射ニューラルネットワーク(英: Implicit Neural Network, 英: Deep equilibrium Network)は、固定点方程式を解くことによって関数評価を行う暗黙の深層学習モデルである。
彼らは古典的なフィードフォワードモデルを一般化し、無限の重み付けフィードフォワードネットワークと等価である。
暗黙のモデルでは精度が向上し、メモリ消費が大幅に減少するが、不適切さと収束不安定さに苦しむことがある。
本稿では、非ユークリッドノルム$\ell_\infty$ の縮約理論に基づく、適切で堅牢な暗黙的ニューラルネットワークを設計するための新しい枠組みを提供する。
この枠組みは, (i) 片側リプシッツ定数に基づく well-posedness の新たな条件, (ii) 固定点を計算する平均イテレーション, (iii) 入出力リプシッツ定数の明示的な推定を含む。
さらに,入力出力のリプシッツ定数を正規化器として,適性条件と平均反復を制約としてトレーニング問題を設計し,頑健なモデルを実現する。
我々の$\ell_\infty$ well-posedness条件は、既存の条件よりも大きなポリトピー訓練探索空間をもたらし、平均的な反復は加速収束を楽しむ。
最後に,MNISTデータセットを用いて関数推定と数値分類の数値実験を行った。
その結果,より小さな入力出力リプシッツ境界を持つ暗黙モデルの精度とロバスト性が向上した。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳（メタデータ） (2023-05-25T15:32:21Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳（メタデータ） (2022-07-13T22:55:04Z) - Robust and Provably Monotonic Networks [0.0]
深層学習モデルのリプシッツ定数を制約する新しい手法を提案する。
LHCbのリアルタイムデータ処理システムにおいて, 強靭で解釈可能な判別器を学習するために, アルゴリズムがどのように使われたかを示す。
論文 参考訳（メタデータ） (2021-11-30T19:01:32Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳（メタデータ） (2021-06-28T00:14:11Z) - Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop [21.00060644438722]
深層学習のトレンドは、ネットワーク深度が無限に近づくにつれて、限界の近似によって固定深度モデルを置き換える。
特に暗黙の深度モデルによるバックプロパゲーションは、暗黙の関数定理から生じるヤコブ方程式の解法を必要とする。
ネットワーク重みと入力データによって定義される固有の限界に前方伝播の収束を保証する固定点ネットワーク(FPN)を提案する。
論文 参考訳（メタデータ） (2021-03-23T19:20:33Z) - CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。
提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
論文 参考訳（メタデータ） (2021-03-23T13:29:24Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳（メタデータ） (2020-10-05T01:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。