論文の概要: Compositional Estimation of Lipschitz Constants for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2404.04375v1
- Date: Fri, 5 Apr 2024 19:36:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:28:04.017323
- Title: Compositional Estimation of Lipschitz Constants for Deep Neural Networks
- Title(参考訳): 深部ニューラルネットワークにおけるリプシッツ定数の構成推定
- Authors: Yuezhu Xu, S. Sivaranjani,
- Abstract要約: リプシッツ定数は、摂動や敵攻撃を入力するためのニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。
本稿では,ディープフィードフォワードニューラルネットワークにおけるリプシッツ定数を推定するための構成的アプローチを提案する。
- 参考スコア(独自算出の注目度): 0.8993153817914281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Lipschitz constant plays a crucial role in certifying the robustness of neural networks to input perturbations and adversarial attacks, as well as the stability and safety of systems with neural network controllers. Therefore, estimation of tight bounds on the Lipschitz constant of neural networks is a well-studied topic. However, typical approaches involve solving a large matrix verification problem, the computational cost of which grows significantly for deeper networks. In this letter, we provide a compositional approach to estimate Lipschitz constants for deep feedforward neural networks by obtaining an exact decomposition of the large matrix verification problem into smaller sub-problems. We further obtain a closed-form solution that applies to most common neural network activation functions, which will enable rapid robustness and stability certificates for neural networks deployed in online control settings. Finally, we demonstrate through numerical experiments that our approach provides a steep reduction in computation time while yielding Lipschitz bounds that are very close to those achieved by state-of-the-art approaches.
- Abstract(参考訳): リプシッツ定数は、ニューラルネットワークの堅牢性を証明し、摂動や敵攻撃を入力し、ニューラルネットワークコントローラを持つシステムの安定性と安全性を保証する上で重要な役割を果たす。
したがって、ニューラルネットワークのリプシッツ定数の厳密な境界の推定は、よく研究されたトピックである。
しかし、典型的なアプローチは、より深いネットワークにおいて計算コストが著しく増大する大規模な行列検証問題を解決することである。
本稿では,大行列検証問題をより小さなサブプロブレムに正確に分解することで,ディープフィードフォワードニューラルネットワークに対するリプシッツ定数を推定するための構成的アプローチを提案する。
さらに、最も一般的なニューラルネットワークアクティベーション機能に適用可能なクローズドフォームソリューションを入手し、オンライン制御設定にデプロイされたニューラルネットワークの高速な堅牢性と安定性証明を可能にします。
最後に,本手法が計算時間を大幅に短縮すると同時に,最先端の手法によって達成された手法に非常に近いリプシッツ境界が得られることを示す。
関連論文リスト
- Upper and lower bounds for the Lipschitz constant of random neural
networks [0.0]
ランダムReLUニューラルネットワークのリプシッツ定数の上下境界について検討した。
浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。
一定の深さと十分に大きな幅を持つ深層ネットワークの場合、確立された上界は、その幅の対数的な因子によって下界よりも大きい。
論文 参考訳(メタデータ) (2023-11-02T16:03:26Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural
Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。
リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。
本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文 参考訳(メタデータ) (2022-04-02T11:57:52Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。
このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
論文 参考訳(メタデータ) (2021-05-12T08:06:11Z) - CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。
提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
論文 参考訳(メタデータ) (2021-03-23T13:29:24Z) - Certifying Incremental Quadratic Constraints for Neural Networks via
Convex Optimization [2.388501293246858]
我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。
証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
論文 参考訳(メタデータ) (2020-12-10T21:15:00Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳(メタデータ) (2020-06-15T13:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。