論文の概要: Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation

• arxiv url: http://arxiv.org/abs/2210.07394v1
• Date: Thu, 13 Oct 2022 22:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 17:21:20.679273
• Title: Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation
• Title（参考訳）: 境界伝搬によるニューラルネットワークの局所リプシッツ定数の効率的な計算
• Authors: Zhouxing Shi, Yihan Wang, Huan Zhang, Zico Kolter, Cho-Jui Hsieh
• Abstract要約: リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 79.13041340708395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz constants are connected to many properties of neural networks, such as robustness, fairness, and generalization. Existing methods for computing Lipschitz constants either produce relatively loose upper bounds or are limited to small networks. In this paper, we develop an efficient framework for computing the $\ell_\infty$ local Lipschitz constant of a neural network by tightly upper bounding the norm of Clarke Jacobian via linear bound propagation. We formulate the computation of local Lipschitz constants with a linear bound propagation process on a high-order backward graph induced by the chain rule of Clarke Jacobian. To enable linear bound propagation, we derive tight linear relaxations for specific nonlinearities in Clarke Jacobian. This formulate unifies existing ad-hoc approaches such as RecurJac, which can be seen as a special case of ours with weaker relaxations. The bound propagation framework also allows us to easily borrow the popular Branch-and-Bound (BaB) approach from neural network verification to further tighten Lipschitz constants. Experiments show that on tiny models, our method produces comparable bounds compared to exact methods that cannot scale to slightly larger models; on larger models, our method efficiently produces tighter results than existing relaxed or naive methods, and our method scales to much larger practical models that previous works could not handle. We also demonstrate an application on provable monotonicity analysis. Code is available at https://github.com/shizhouxing/Local-Lipschitz-Constants.
• Abstract（参考訳）: リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 本稿では,ニューラルネットワークの$\ell_\infty$ローカルリプシッツ定数を計算するための効率的なフレームワークを開発した。 局所リプシッツ定数の計算をクラーク・ヤコビアン連鎖則によって誘導される高次後方グラフ上の線形有界伝播過程で定式化する。 線形束縛伝播を可能にするために、クラークヤコビアンにおける特定の非線形性に対する厳密な線形緩和を導出する。 この公式はRecurJacのような既存のアドホックなアプローチを統一するが、これは緩和が弱い我々の特別な場合と見なすことができる。 境界伝搬フレームワークは、ニューラルネットワークの検証から人気のあるブランチ・アンド・バウンド(bab)アプローチを、リプシッツ定数をさらに引き締めるために簡単に活用することもできます。 実験により, 小型モデルでは, 比較的大きなモデルではスケールできないような厳密な手法と比較して, 同等の限界が得られ, より大きなモデルでは, 既存の緩和法やナイーブ法よりも効率的により厳密な結果が得られ, 従来の手法では処理できないような, はるかに大きな実用的モデルにスケールできることがわかった。 また,証明可能な単調性解析の応用例を示す。 コードはhttps://github.com/shizhouxing/Local-Lipschitz-Constantsで公開されている。

関連論文リスト

• Scalable Lipschitz Estimation for CNNs [3.8125535078871127]
  ディープニューラルネットワークのリプシッツ定数を推定することは、関心が高まっている。 CNNはコンピュータビジョン関連のアプリケーションにおける最近の成功の多くを支えている。 CNNのリプシッツ定数推定を高速化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T14:28:44Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。