論文の概要: Compositional Estimation of Lipschitz Constants for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2404.04375v1
• Date: Fri, 5 Apr 2024 19:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 21:28:04.017323
• Title: Compositional Estimation of Lipschitz Constants for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるリプシッツ定数の構成推定
• Authors: Yuezhu Xu, S. Sivaranjani,
• Abstract要約: リプシッツ定数は、摂動や敵攻撃を入力するためのニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。 本稿では,ディープフィードフォワードニューラルネットワークにおけるリプシッツ定数を推定するための構成的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.8993153817914281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lipschitz constant plays a crucial role in certifying the robustness of neural networks to input perturbations and adversarial attacks, as well as the stability and safety of systems with neural network controllers. Therefore, estimation of tight bounds on the Lipschitz constant of neural networks is a well-studied topic. However, typical approaches involve solving a large matrix verification problem, the computational cost of which grows significantly for deeper networks. In this letter, we provide a compositional approach to estimate Lipschitz constants for deep feedforward neural networks by obtaining an exact decomposition of the large matrix verification problem into smaller sub-problems. We further obtain a closed-form solution that applies to most common neural network activation functions, which will enable rapid robustness and stability certificates for neural networks deployed in online control settings. Finally, we demonstrate through numerical experiments that our approach provides a steep reduction in computation time while yielding Lipschitz bounds that are very close to those achieved by state-of-the-art approaches.
• Abstract（参考訳）: リプシッツ定数は、ニューラルネットワークの堅牢性を証明し、摂動や敵攻撃を入力し、ニューラルネットワークコントローラを持つシステムの安定性と安全性を保証する上で重要な役割を果たす。 したがって、ニューラルネットワークのリプシッツ定数の厳密な境界の推定は、よく研究されたトピックである。 しかし、典型的なアプローチは、より深いネットワークにおいて計算コストが著しく増大する大規模な行列検証問題を解決することである。 本稿では,大行列検証問題をより小さなサブプロブレムに正確に分解することで,ディープフィードフォワードニューラルネットワークに対するリプシッツ定数を推定するための構成的アプローチを提案する。 さらに、最も一般的なニューラルネットワークアクティベーション機能に適用可能なクローズドフォームソリューションを入手し、オンライン制御設定にデプロイされたニューラルネットワークの高速な堅牢性と安定性証明を可能にします。 最後に,本手法が計算時間を大幅に短縮すると同時に,最先端の手法によって達成された手法に非常に近いリプシッツ境界が得られることを示す。

関連論文リスト

• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
  ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。 ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。 我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
  論文  参考訳（メタデータ） (2020-09-28T17:58:43Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。