論文の概要: Approximation of Lipschitz Functions using Deep Spline Neural Networks

• arxiv url: http://arxiv.org/abs/2204.06233v1
• Date: Wed, 13 Apr 2022 08:07:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 14:07:26.999446
• Title: Approximation of Lipschitz Functions using Deep Spline Neural Networks
• Title（参考訳）: ディープスプラインニューラルネットワークを用いたリプシッツ関数の近似
• Authors: Sebastian Neumayer and Alexis Goujon and Pakshal Bohra and Michael Unser
• Abstract要約: 本稿では,ReLUネットワークの代わりに,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。 この選択は、全てのコンポーネントワイド1ドルLipschitzアクティベーション関数の中で最適であることを示す。 この選択は、スペクトルノルム制約重みに対する最近導入された非成分ワイド群活性化関数と同じくらい表現力がある。
• 参考スコア（独自算出の注目度）: 21.13606355641886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz-constrained neural networks have many applications in machine learning. Since designing and training expressive Lipschitz-constrained networks is very challenging, there is a need for improved methods and a better theoretical understanding. Unfortunately, it turns out that ReLU networks have provable disadvantages in this setting. Hence, we propose to use learnable spline activation functions with at least 3 linear regions instead. We prove that this choice is optimal among all component-wise $1$-Lipschitz activation functions in the sense that no other weight constrained architecture can approximate a larger class of functions. Additionally, this choice is at least as expressive as the recently introduced non component-wise Groupsort activation function for spectral-norm-constrained weights. Previously published numerical results support our theoretical findings.
• Abstract（参考訳）: リプシッツ制約ニューラルネットワークは機械学習に多くの応用がある。 表現型リプシッツ制約ネットワークの設計と訓練は非常に困難であるため、改善された手法と理論的理解が必要である。 残念ながら、この環境ではReLUネットワークには証明可能な欠点がある。 そこで本研究では,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。 この選択は、他の重み付きアーキテクチャがより大きな関数のクラスを近似できないという意味で、全てのコンポーネントワイズ1$-Lipschitz活性化関数の中で最適であることを示す。 さらに、この選択は、スペクトルノルム制約重みに対する最近導入された非成分的グループソート活性化関数と同じくらい表現的である。 これまでに公表された数値結果は,我々の理論的知見を裏付けるものである。

関連論文リスト

• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• 1-Lipschitz Neural Networks are more expressive with N-Activations [19.858602457988194]
  システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。 MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。 現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
  論文  参考訳（メタデータ） (2023-11-10T15:12:04Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions [14.378778606939665]
  リプシッツ制約ニューラルネットワークは、制約のないニューラルネットワークよりもいくつかの利点があり、様々な問題に適用できる。 学習可能な1-Lipschitz線形スプラインを持つニューラルネットワークはより表現力が高いことが知られている。 シミュレーション実験により,既存の1-Lipschitzニューラルアーキテクチャと比較した。
  論文  参考訳（メタデータ） (2022-10-28T15:56:55Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。