論文の概要: Monotone, Bi-Lipschitz, and Polyak-Lojasiewicz Networks
- arxiv url: http://arxiv.org/abs/2402.01344v2
- Date: Thu, 8 Feb 2024 22:33:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:28:53.067626
- Title: Monotone, Bi-Lipschitz, and Polyak-Lojasiewicz Networks
- Title(参考訳): モノトン, bi-lipschitz, polyak-lojasiewiczネットワーク
- Authors: Ruigang Wang, Krishnamurthy Dvijotham, Ian R. Manchester
- Abstract要約: 本稿では,新しいEmphbi-Lipschitz可逆ニューラルネットワークBiLipNetを提案する。
EmphLipnessとEmphintonicityの両方をコントロールできる。
- 参考スコア(独自算出の注目度): 11.491363934331009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a new \emph{bi-Lipschitz} invertible neural network, the
BiLipNet, which has the ability to control both its \emph{Lipschitzness}
(output sensitivity to input perturbations) and \emph{inverse Lipschitzness}
(input distinguishability from different outputs). The main contribution is a
novel invertible residual layer with certified strong monotonicity and
Lipschitzness, which we compose with orthogonal layers to build bi-Lipschitz
networks. The certification is based on incremental quadratic constraints,
which achieves much tighter bounds compared to spectral normalization.
Moreover, we formulate the model inverse calculation as a three-operator
splitting problem, for which fast algorithms are known. Based on the proposed
bi-Lipschitz network, we introduce a new scalar-output network, the PLNet,
which satisfies the Polyak-\L{}ojasiewicz condition. It can be applied to learn
non-convex surrogate losses with favourable properties, e.g., a unique and
efficiently-computable global minimum.
- Abstract(参考訳): 本稿では,入力摂動に対する応答感度)と逆リプシッツネス(異なる出力からの入力弁別性)の両方を制御できるニューラルネットであるbilipnet(bilipnet)を提案する。
主な貢献は、証明された強い単調性とリプシッツ性を持つ新しい可逆残留層であり、双リプシッツネットワークを構築するために直交層を構成する。
この認定は、スペクトル正規化よりもずっと厳密な境界を達成する漸進的二次的制約に基づいている。
さらに、高速アルゴリズムが知られている3演算分割問題としてモデル逆計算を定式化する。
提案した双Lipschitzネットワークに基づいて,Polyak-\L{}ojasiewicz条件を満たす新しいスカラー出力ネットワークPLNetを導入する。
例えば、一意で効率的な計算可能なグローバル最小値など、好ましい特性を持つ非凸サーロゲート損失の学習に応用することができる。
関連論文リスト
- Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳(メタデータ) (2023-05-25T15:32:21Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳(メタデータ) (2023-03-06T14:31:09Z) - Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文 参考訳(メタデータ) (2022-10-04T17:55:27Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳(メタデータ) (2020-10-05T01:00:40Z) - Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
1-path-norm ニューラルネットワークの2つの重要な特性を示す。
第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。
第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
論文 参考訳(メタデータ) (2020-07-02T10:34:06Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳(メタデータ) (2020-06-15T13:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。