論文の概要: Lipschitz constant estimation of Neural Networks via sparse polynomial optimization

• arxiv url: http://arxiv.org/abs/2004.08688v1
• Date: Sat, 18 Apr 2020 18:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:10:19.495245
• Title: Lipschitz constant estimation of Neural Networks via sparse polynomial optimization
• Title（参考訳）: スパース多項式最適化によるニューラルネットワークのリプシッツ定数推定
• Authors: Fabian Latorre, Paul Rolland, Volkan Cevher
• Abstract要約: LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
• 参考スコア（独自算出の注目度）: 47.596834444042685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce LiPopt, a polynomial optimization framework for computing increasingly tighter upper bounds on the Lipschitz constant of neural networks. The underlying optimization problems boil down to either linear (LP) or semidefinite (SDP) programming. We show how to use the sparse connectivity of a network, to significantly reduce the complexity of computation. This is specially useful for convolutional as well as pruned neural networks. We conduct experiments on networks with random weights as well as networks trained on MNIST, showing that in the particular case of the $\ell_\infty$-Lipschitz constant, our approach yields superior estimates, compared to baselines available in the literature.
• Abstract（参考訳）: ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するための多項式最適化フレームワークLiPoptを紹介する。 根底にある最適化問題は、線形 (LP) あるいは半定値 (SDP) プログラミングに端を発する。 計算の複雑さを著しく低減するために,ネットワークの疎結合をどのように利用するかを示す。 これは特に畳み込みニューラルネットワークと同様に畳み込みにも有用である。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行い、例えば$\ell_\infty$-Lipschitz定数の場合、本手法は文献で利用可能なベースラインよりも優れた推定値が得られることを示した。

関連論文リスト

• Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions [14.378778606939665]
  リプシッツ制約ニューラルネットワークは、制約のないニューラルネットワークよりもいくつかの利点があり、様々な問題に適用できる。 学習可能な1-Lipschitz線形スプラインを持つニューラルネットワークはより表現力が高いことが知られている。 シミュレーション実験により,既存の1-Lipschitzニューラルアーキテクチャと比較した。
  論文  参考訳（メタデータ） (2022-10-28T15:56:55Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Lipschitz Bound Analysis of Neural Networks [0.0]
  リプシッツ境界推定は、ディープニューラルネットワークを正則化し、敵の攻撃に対して堅牢にする効果的な方法である。 本稿では、畳み込みニューラルネットワーク(CNN)のための非自明なリプシッツ境界証明書を得る際の大きなギャップについて述べる。 また,畳み込みニューラルネットワーク(CNN)を完全連結ネットワークに変換するために,畳み込み層やToeplitz行列の展開も可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:40:22Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。