論文の概要: Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations

• arxiv url: http://arxiv.org/abs/2401.14033v1
• Date: Thu, 25 Jan 2024 09:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:07:29.376200
• Title: Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations
• Title（参考訳）: 傾斜制限活性を超えてLipSDPを拡張するための新しい二次的制約
• Authors: Patricia Pauli, Aaron Havens, Alexandre Araujo, Siddharth Garg, Farshad Khorrami, Frank Allg\"ower, Bin Hu
• Abstract要約: ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 52.031701581294804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, semidefinite programming (SDP) techniques have shown great promise in providing accurate Lipschitz bounds for neural networks. Specifically, the LipSDP approach (Fazlyab et al., 2019) has received much attention and provides the least conservative Lipschitz upper bounds that can be computed with polynomial time guarantees. However, one main restriction of LipSDP is that its formulation requires the activation functions to be slope-restricted on $[0,1]$, preventing its further use for more general activation functions such as GroupSort, MaxMin, and Householder. One can rewrite MaxMin activations for example as residual ReLU networks. However, a direct application of LipSDP to the resultant residual ReLU networks is conservative and even fails in recovering the well-known fact that the MaxMin activation is 1-Lipschitz. Our paper bridges this gap and extends LipSDP beyond slope-restricted activation functions. To this end, we provide novel quadratic constraints for GroupSort, MaxMin, and Householder activations via leveraging their underlying properties such as sum preservation. Our proposed analysis is general and provides a unified approach for estimating $\ell_2$ and $\ell_\infty$ Lipschitz bounds for a rich class of neural network architectures, including non-residual and residual neural networks and implicit models, with GroupSort, MaxMin, and Householder activations. Finally, we illustrate the utility of our approach with a variety of experiments and show that our proposed SDPs generate less conservative Lipschitz bounds in comparison to existing approaches.
• Abstract（参考訳）: 近年、半定値プログラミング(SDP)技術は、ニューラルネットワークに正確なリプシッツ境界を提供することに大きな期待を示している。 特に、lipsdpアプローチ(fazlyab et al., 2019)は多くの注目を集め、多項式時間保証で計算できる最も保守的なリプシッツ上限を提供している。 しかし、lipsdpの主な制限の一つは、その定式化は活性化関数が[0,1]$で傾斜制限され、groupsort、maxmin、houseerのようなより一般的な活性化関数へのさらなる使用が妨げられることである。 例えば、残留ReLUネットワークのようなMaxMinアクティベーションを書き換えることができる。 しかし、LipSDPの残留ReLUネットワークへの直接適用は保守的であり、MaxMinアクティベーションが1-Lipschitzであるという事実を回復するのに失敗する。 本論文はこのギャップを橋渡し,lipsdpを傾斜制限活性化関数を超えて拡張する。 そこで本研究では,グループソート,マックスミン,家計アクティベーションに対する新しい2次制約を,総和保存などの基礎的特性を活用して提供する。 提案手法は汎用的であり,GroupSort,MaxMin,Houseerのアクティベーションを含む,ニューラルネットワークアーキテクチャの豊富なクラスに対して,$\ell_2$および$\ell_\infty$ Lipschitz境界を推定するための統一的なアプローチを提供する。 最後に,本手法の有用性を様々な実験で示し,提案するsdpは既存の手法に比べて保守的なリプシッツ境界を生じにくいことを示した。

関連論文リスト

• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• MIQCQP reformulation of the ReLU neural networks Lipschitz constant estimation problem [0.0]
  ニューラルネットワークのリプシッツ推定問題に対する2次拘束型MIP定式化を提案する。 これらの問題の解はリプシッツ定数の下限と上限を与える。 我々は、それらが正確なリプシッツ定数と一致するときの条件を詳述する。
  論文  参考訳（メタデータ） (2024-02-02T07:55:42Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Approximation of Lipschitz Functions using Deep Spline Neural Networks [21.13606355641886]
  本稿では,ReLUネットワークの代わりに,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。 この選択は、全てのコンポーネントワイド1ドルLipschitzアクティベーション関数の中で最適であることを示す。 この選択は、スペクトルノルム制約重みに対する最近導入された非成分ワイド群活性化関数と同じくらい表現力がある。
  論文  参考訳（メタデータ） (2022-04-13T08:07:28Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。