論文の概要: The Many Faces of 1-Lipschitz Neural Networks

• arxiv url: http://arxiv.org/abs/2104.05097v1
• Date: Sun, 11 Apr 2021 20:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:41:25.951865
• Title: The Many Faces of 1-Lipschitz Neural Networks
• Title（参考訳）: 1-Lipschitz ニューラルネットワークの多面性
• Authors: Louis B\'ethune, Alberto Gonz\'ales-Sanz, Franck Mamalet, Mathieu Serrurier
• Abstract要約: 1-Lipschitzニューラルネットワークは、古典的なものと同じくらい表現力のある任意の困難なフロンティアに適合できることを示しています。 また,関東ロビッチ・ルビンシュタイン双対性理論の正規化による1-Lipschitzネットワークの分類と最適輸送の関係についても検討した。
• 参考スコア（独自算出の注目度）: 1.911678487931003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz constrained models have been used to solve specifics deep learning problems such as the estimation of Wasserstein distance for GAN, or the training of neural networks robust to adversarial attacks. Regardless the novel and effective algorithms to build such 1-Lipschitz networks, their usage remains marginal, and they are commonly considered as less expressive and less able to fit properly the data than their unconstrained counterpart. The goal of the paper is to demonstrate that, despite being empirically harder to train, 1-Lipschitz neural networks are theoretically better grounded than unconstrained ones when it comes to classification. To achieve that we recall some results about 1-Lipschitz function in the scope of deep learning and we extend and illustrate them to derive general properties for classification. First, we show that 1-Lipschitz neural network can fit arbitrarily difficult frontier making them as expressive as classical ones. When minimizing the log loss, we prove that the optimization problem under Lipschitz constraint is well posed and have a minimum, whereas regular neural networks can diverge even on remarkably simple situations. Then, we study the link between classification with 1-Lipschitz network and optimal transport thanks to regularized versions of Kantorovich-Rubinstein duality theory. Last, we derive preliminary bounds on their VC dimension.
• Abstract（参考訳）: リプシッツ制約付きモデルは、ganのwasserstein距離の推定や、敵の攻撃に頑健なニューラルネットワークのトレーニングなど、特定のディープラーニング問題を解決するために用いられてきた。 このような1-Lipschitzネットワークを構築するための新奇で効果的なアルゴリズムにもかかわらず、その使用法はいまだに限られており、表現力は低く、制約のないアルゴリズムよりもデータの適合性が低いと考えられている。 この論文の目的は、1-Lipschitzのニューラルネットワークが、実験的に訓練が困難であるにもかかわらず、非制約のニューラルネットワークよりも理論的に根拠があることを示すことである。 深層学習の範囲における1-Lipschitz関数に関するいくつかの結果を思い出し、それらを拡張して説明し、分類の一般的な性質を導出する。 まず,1-Lipschitz ニューラルネットワークは,従来のニューラルネットワークのように表現力のあるフロンティアに適していることを示す。 ログ損失を最小化する場合、リプシッツ制約の下での最適化問題は十分に仮定され最小であり、通常のニューラルネットワークは驚くほど単純な状況でも分岐可能であることを示す。 そこで,関東ロビッチ・ルビンシュタイン双対性理論の正規化版による1-Lipschitzネットワークの分類と最適輸送の関係について検討した。 最後に、VC次元の予備的境界を導出する。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Upper and lower bounds for the Lipschitz constant of random neural networks [0.0]
  ランダムReLUニューラルネットワークのリプシッツ定数の上下境界について検討した。 浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。 一定の深さと十分に大きな幅を持つ深層ネットワークの場合、確立された上界は、その幅の対数的な因子によって下界よりも大きい。
  論文  参考訳（メタデータ） (2023-11-02T16:03:26Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions [14.378778606939665]
  リプシッツ制約ニューラルネットワークは、制約のないニューラルネットワークよりもいくつかの利点があり、様々な問題に適用できる。 学習可能な1-Lipschitz線形スプラインを持つニューラルネットワークはより表現力が高いことが知られている。 シミュレーション実験により,既存の1-Lipschitzニューラルアーキテクチャと比較した。
  論文  参考訳（メタデータ） (2022-10-28T15:56:55Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。