論文の概要: 1-Lipschitz Neural Networks are more expressive with N-Activations

• arxiv url: http://arxiv.org/abs/2311.06103v2
• Date: Mon, 3 Jun 2024 15:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:21:27.601169
• Title: 1-Lipschitz Neural Networks are more expressive with N-Activations
• Title（参考訳）: 1-Lipschitz ニューラルネットワークは N-Activation でより表現力が高い
• Authors: Bernd Prach, Christoph H. Lampert,
• Abstract要約: システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。 MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。 現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
• 参考スコア（独自算出の注目度）: 19.858602457988194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial property for achieving secure, trustworthy and interpretable deep learning systems is their robustness: small changes to a system's inputs should not result in large changes to its outputs. Mathematically, this means one strives for networks with a small Lipschitz constant. Several recent works have focused on how to construct such Lipschitz networks, typically by imposing constraints on the weight matrices. In this work, we study an orthogonal aspect, namely the role of the activation function. We show that commonly used activation functions, such as MaxMin, as well as all piece-wise linear ones with two segments unnecessarily restrict the class of representable functions, even in the simplest one-dimensional setting. We furthermore introduce the new N-activation function that is provably more expressive than currently popular activation functions. We provide code at https://github.com/berndprach/NActivation.
• Abstract（参考訳）: セキュアで信頼性が高く、解釈可能なディープラーニングシステムを実現するための重要な特性は、その堅牢性である。 数学的には、これは小さなリプシッツ定数を持つネットワークに対して努力することを意味する。 いくつかの最近の研究は、一般に重み行列に制約を課すことによって、そのようなリプシッツネットワークを構築する方法に焦点を当てている。 本研究は、直交的側面、すなわちアクティベーション関数の役割について研究する。 我々は、MaxMinのようなよく使われるアクティベーション関数と、2つのセグメントを持つすべてのピースワイド線形関数が、最も単純な1次元の設定であっても、不必要に表現可能な関数のクラスを制限していることを示す。 さらに,現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。 私たちはhttps://github.com/berndprach/NActivation.comでコードを提供しています。

関連論文リスト

• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Data-aware customization of activation functions reduces neural network error [0.35172332086962865]
  本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。 既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
  論文  参考訳（メタデータ） (2023-01-16T23:38:37Z)
• Constrained Monotonic Neural Networks [0.685316573653194]
  金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。 モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
  論文  参考訳（メタデータ） (2022-05-24T04:26:10Z)
• Approximation of Lipschitz Functions using Deep Spline Neural Networks [21.13606355641886]
  本稿では,ReLUネットワークの代わりに,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。 この選択は、全てのコンポーネントワイド1ドルLipschitzアクティベーション関数の中で最適であることを示す。 この選択は、スペクトルノルム制約重みに対する最近導入された非成分ワイド群活性化関数と同じくらい表現力がある。
  論文  参考訳（メタデータ） (2022-04-13T08:07:28Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。