論文の概要: ECLipsE: Efficient Compositional Lipschitz Constant Estimation for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2404.04375v2
• Date: Mon, 28 Oct 2024 22:23:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:36:12.969347
• Title: ECLipsE: Efficient Compositional Lipschitz Constant Estimation for Deep Neural Networks
• Title（参考訳）: ECLipsE:ディープニューラルネットワークの効率的な合成リプシッツ定数推定
• Authors: Yuezhu Xu, S. Sivaranjani,
• Abstract要約: リプシッツ定数は、入力摂動に対するニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。 リプシッツ定数の厳密な上界を得る努力がなされている。 ディープフィードフォワードニューラルネットワークに対するリプシッツ定数を推定するための構成的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.8993153817914281
• License:
• Abstract: The Lipschitz constant plays a crucial role in certifying the robustness of neural networks to input perturbations. Since calculating the exact Lipschitz constant is NP-hard, efforts have been made to obtain tight upper bounds on the Lipschitz constant. Typically, this involves solving a large matrix verification problem, the computational cost of which grows significantly for both deeper and wider networks. In this paper, we provide a compositional approach to estimate Lipschitz constants for deep feed-forward neural networks. We first obtain an exact decomposition of the large matrix verification problem into smaller sub-problems. Then, leveraging the underlying cascade structure of the network, we develop two algorithms. The first algorithm explores the geometric features of the problem and enables us to provide Lipschitz estimates that are comparable to existing methods by solving small semidefinite programs (SDPs) that are only as large as the size of each layer. The second algorithm relaxes these sub-problems and provides a closed-form solution to each sub-problem for extremely fast estimation, altogether eliminating the need to solve SDPs. The two algorithms represent different levels of trade-offs between efficiency and accuracy. Finally, we demonstrate that our approach provides a steep reduction in computation time (as much as several thousand times faster, depending on the algorithm for deeper networks) while yielding Lipschitz bounds that are very close to or even better than those achieved by state-of-the-art approaches in a broad range of experiments. In summary, our approach considerably advances the scalability and efficiency of certifying neural network robustness, making it particularly attractive for online learning tasks.
• Abstract（参考訳）: リプシッツ定数は、入力摂動に対するニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。 リプシッツ定数の正確な計算がNPハードであることから、リプシッツ定数の厳密な上界を得る努力がなされている。 これは一般に、より深いネットワークとより広いネットワークの両方において、計算コストが著しく増大する大規模な行列検証問題を解くことを伴う。 本稿では,ディープフィードフォワードニューラルネットワークにおけるリプシッツ定数を推定するための構成的アプローチを提案する。 まず,大行列検証問題をより小さなサブプロブレムに分解する。 そして、ネットワークの基盤となるカスケード構造を利用して、2つのアルゴリズムを開発する。 第1のアルゴリズムは,問題の幾何学的特徴を探索し,各層の大きさの小さい半定値プログラム(SDP)を解くことにより,既存の手法に匹敵するリプシッツ推定を提供する。 第2のアルゴリズムはこれらのサブプロブレムを緩和し、極端に高速な推定のために各サブプロブレムにクローズドフォームソリューションを提供する。 この2つのアルゴリズムは、効率と精度のトレードオフのレベルが異なる。 最後に、我々の手法は計算時間を大幅に短縮し(より深いネットワークのアルゴリズムによっては数千倍も高速である)、また、幅広い実験において最先端の手法によって達成されたものよりも非常に近い、あるいはそれ以上良いリプシッツ境界が得られることを示した。 要約すると、我々のアプローチは、ニューラルネットワークの堅牢性を証明するスケーラビリティと効率を大幅に向上させ、オンライン学習タスクに特に魅力を与えます。

関連論文リスト

• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
  ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。 ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。 我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
  論文  参考訳（メタデータ） (2020-09-28T17:58:43Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。