論文の概要: Analytical bounds on the local Lipschitz constants of affine-ReLU functions

• arxiv url: http://arxiv.org/abs/2008.06141v1
• Date: Fri, 14 Aug 2020 00:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 16:45:55.776392
• Title: Analytical bounds on the local Lipschitz constants of affine-ReLU functions
• Title（参考訳）: アフィン-ReLU関数の局所リプシッツ定数に関する解析的境界
• Authors: Trevor Avant, Kristi A. Morgansen
• Abstract要約: Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。 ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。 我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we determine analytical bounds on the local Lipschitz constants of of affine functions composed with rectified linear units (ReLUs). Affine-ReLU functions represent a widely used layer in deep neural networks, due to the fact that convolution, fully-connected, and normalization functions are all affine, and are often followed by a ReLU activation function. Using an analytical approach, we mathematically determine upper bounds on the local Lipschitz constant of an affine-ReLU function, show how these bounds can be combined to determine a bound on an entire network, and discuss how the bounds can be efficiently computed, even for larger layers and networks. We show several examples by applying our results to AlexNet, as well as several smaller networks based on the MNIST and CIFAR-10 datasets. The results show that our method produces tighter bounds than the standard conservative bound (i.e. the product of the spectral norms of the layers' linear matrices), especially for small perturbations.
• Abstract（参考訳）: 本稿では,正則線形単位(ReLUs)からなるアフィン関数の局所リプシッツ定数に関する解析的境界を決定する。 アフィン-ReLU関数は、畳み込み、完全連結、正規化関数がすべてアフィンであり、ReLUアクティベーション関数が続くため、ディープニューラルネットワークにおいて広く使われている層を表している。 解析的手法を用いて,アフィン-ReLU関数の局所リプシッツ定数の上界を数学的に決定し,これらの境界を結合してネットワーク全体の境界を決定する方法を示し,より大きな層やネットワークに対しても,その境界を効率的に計算する方法について議論する。 我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。 その結果,本手法は標準の保守的境界(特に小さな摂動に対して,各層の線形行列のスペクトルノルムの積)よりも厳密な境界を生成することがわかった。

関連論文リスト

• Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks [1.5850926890180461]
  Kolmogorov-Arnold Network (KAN)は、Liuらによって最近提案されたネットワーク構造である。 活性化関数を備えたカンの一般化境界を確立することにより、カンの厳密な理論的解析を提供する。
  論文  参考訳（メタデータ） (2024-10-10T15:23:21Z)
• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Approximation speed of quantized vs. unquantized ReLU neural networks and beyond [0.0]
  本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。 我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。 また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
  論文  参考訳（メタデータ） (2022-05-24T07:48:12Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Analytical bounds on the local Lipschitz constants of ReLU networks [0.0]
  我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。 提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
  論文  参考訳（メタデータ） (2021-04-29T21:57:47Z)
• Approximating Lipschitz continuous functions with GroupSort neural networks [3.416170716497814]
  近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。 特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。 また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
  論文  参考訳（メタデータ） (2020-06-09T13:37:43Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。