論文の概要: Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions

• arxiv url: http://arxiv.org/abs/2210.16222v2
• Date: Tue, 19 Dec 2023 17:19:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:29:49.446752
• Title: Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions
• Title（参考訳）: 活性化関数学習によるリプシッツ制約ニューラルネットワークの改良
• Authors: Stanislas Ducotterd, Alexis Goujon, Pakshal Bohra, Dimitris Perdios, Sebastian Neumayer, Michael Unser
• Abstract要約: リプシッツ制約ニューラルネットワークは、制約のないニューラルネットワークよりもいくつかの利点があり、様々な問題に適用できる。 学習可能な1-Lipschitz線形スプラインを持つニューラルネットワークはより表現力が高いことが知られている。 シミュレーション実験により,既存の1-Lipschitzニューラルアーキテクチャと比較した。
• 参考スコア（独自算出の注目度）: 14.378778606939665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz-constrained neural networks have several advantages over unconstrained ones and can be applied to a variety of problems, making them a topic of attention in the deep learning community. Unfortunately, it has been shown both theoretically and empirically that they perform poorly when equipped with ReLU activation functions. By contrast, neural networks with learnable 1-Lipschitz linear splines are known to be more expressive. In this paper, we show that such networks correspond to global optima of a constrained functional optimization problem that consists of the training of a neural network composed of 1-Lipschitz linear layers and 1-Lipschitz freeform activation functions with second-order total-variation regularization. Further, we propose an efficient method to train these neural networks. Our numerical experiments show that our trained networks compare favorably with existing 1-Lipschitz neural architectures.
• Abstract（参考訳）: リプシッツに制約されたニューラルネットワークは、制約のないニューラルネットワークよりもいくつかの利点があり、さまざまな問題に適用できるため、ディープラーニングコミュニティでは注目の的となっている。 残念ながら、ReLUアクティベーション機能を備えた場合、理論上も経験上も性能が悪いことが示されている。 対照的に、学習可能な1-Lipschitz線形スプラインを持つニューラルネットワークはより表現力が高いことが知られている。 本稿では,1-Lipschitz線形層と1-Lipschitz自由形式活性化関数からなるニューラルネットワークの2次全変分正規化によるトレーニングを含む,制約付き関数最適化問題の大域的最適化に対応することを示す。 さらに,これらのニューラルネットワークを効率的に学習する手法を提案する。 シミュレーション実験により,既存の1-Lipschitzニューラルアーキテクチャと比較した。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
  対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。 以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。 これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-01-11T17:57:33Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Approximation of Lipschitz Functions using Deep Spline Neural Networks [21.13606355641886]
  本稿では,ReLUネットワークの代わりに,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。 この選択は、全てのコンポーネントワイド1ドルLipschitzアクティベーション関数の中で最適であることを示す。 この選択は、スペクトルノルム制約重みに対する最近導入された非成分ワイド群活性化関数と同じくらい表現力がある。
  論文  参考訳（メタデータ） (2022-04-13T08:07:28Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• The Many Faces of 1-Lipschitz Neural Networks [1.911678487931003]
  1-Lipschitzニューラルネットワークは、古典的なものと同じくらい表現力のある任意の困難なフロンティアに適合できることを示しています。 また,関東ロビッチ・ルビンシュタイン双対性理論の正規化による1-Lipschitzネットワークの分類と最適輸送の関係についても検討した。
  論文  参考訳（メタデータ） (2021-04-11T20:31:32Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
  本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。 ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
  論文  参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。