論文の概要: Analytical bounds on the local Lipschitz constants of ReLU networks

• arxiv url: http://arxiv.org/abs/2104.14672v1
• Date: Thu, 29 Apr 2021 21:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 13:51:08.481461
• Title: Analytical bounds on the local Lipschitz constants of ReLU networks
• Title（参考訳）: ReLUネットワークの局所リプシッツ定数に関する解析的境界
• Authors: Trevor Avant and Kristi A. Morgansen
• Abstract要約: 我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。 提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we determine analytical upper bounds on the local Lipschitz constants of feedforward neural networks with ReLU activation functions. We do so by deriving Lipschitz constants and bounds for ReLU, affine-ReLU, and max pooling functions, and combining the results to determine a network-wide bound. Our method uses several insights to obtain tight bounds, such as keeping track of the zero elements of each layer, and analyzing the composition of affine and ReLU functions. Furthermore, we employ a careful computational approach which allows us to apply our method to large networks such as AlexNet and VGG-16. We present several examples using different networks, which show how our local Lipschitz bounds are tighter than the global Lipschitz bounds. We also show how our method can be applied to provide adversarial bounds for classification networks. These results show that our method produces the largest known bounds on minimum adversarial perturbations for large networks such as AlexNet and VGG-16.
• Abstract（参考訳）: 本稿では,ReLUアクティベーション機能を有するフィードフォワードニューラルネットワークの局所リプシッツ定数に関する解析的上限を決定する。 我々は、ReLU、アフィン-ReLU、最大プール関数に対してリプシッツ定数とバウンダリを導出し、その結果を組み合わせてネットワーク全体のバウンダリを決定する。 本手法では, 各層の零要素の追跡やアフィンおよびReLU関数の構成解析など, 厳密な境界を求めるためにいくつかの知見を用いる。 さらに,AlexNet や VGG-16 などの大規模ネットワークに適用可能な,慎重な計算手法を採用した。 異なるネットワークを用いて、我々の局所リプシッツ境界がグローバルリプシッツ境界よりも厳密であることを示すいくつかの例を示す。 また,本手法を分類ネットワークの逆境界に適用する方法について述べる。 これらの結果から,AlexNet や VGG-16 などの大規模ネットワークに対して,最小対向摂動に基づく最大境界が得られた。

関連論文リスト

• Three Quantization Regimes for ReLU Networks [3.823356975862005]
  有限精度重み付き深部ReLUニューラルネットワークによるリプシッツ関数近似の基本的な限界を確立する。 適切な量子化方式では、ニューラルネットワークはリプシッツ関数の近似においてメモリ最適性を示す。
  論文  参考訳（メタデータ） (2024-05-03T09:27:31Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Approximation speed of quantized vs. unquantized ReLU neural networks and beyond [0.0]
  本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。 我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。 また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
  論文  参考訳（メタデータ） (2022-05-24T07:48:12Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Analytical bounds on the local Lipschitz constants of affine-ReLU functions [0.0]
  Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。 ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。 我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
  論文  参考訳（メタデータ） (2020-08-14T00:23:21Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Approximating Lipschitz continuous functions with GroupSort neural networks [3.416170716497814]
  近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。 特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。 また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
  論文  参考訳（メタデータ） (2020-06-09T13:37:43Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。