Fugu-MT 論文翻訳(概要): Approximating Lipschitz continuous functions with GroupSort neural networks

論文の概要: Approximating Lipschitz continuous functions with GroupSort neural networks

arxiv url: http://arxiv.org/abs/2006.05254v2
Date: Mon, 8 Feb 2021 18:17:50 GMT
ステータス: 処理完了
システム内更新日: 2022-11-23 13:50:58.019998
Title: Approximating Lipschitz continuous functions with GroupSort neural networks
Title（参考訳）: GroupSort ニューラルネットワークによるリプシッツ連続関数の近似
Authors: Ugo Tanielian, Maxime Sangnier, Gerard Biau
Abstract要約: 近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
参考スコア（独自算出の注目度）: 3.416170716497814
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in adversarial attacks and Wasserstein GANs have advocated for use of neural networks with restricted Lipschitz constants. Motivated by these observations, we study the recently introduced GroupSort neural networks, with constraints on the weights, and make a theoretical step towards a better understanding of their expressive power. We show in particular how these networks can represent any Lipschitz continuous piecewise linear functions. We also prove that they are well-suited for approximating Lipschitz continuous functions and exhibit upper bounds on both the depth and size. To conclude, the efficiency of GroupSort networks compared with more standard ReLU networks is illustrated in a set of synthetic experiments.
Abstract（参考訳）: 近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。これらの観測に動機づけられ、最近導入されたグループソートニューラルネットワークを重み付けに制約付きで研究し、その表現力の理解を深める理論的一歩を踏み出した。特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。また、それらはリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示す。結論として、より標準的なReLUネットワークと比較して、GroupSortネットワークの効率を合成実験のセットで示す。

関連論文リスト

Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文参考訳（メタデータ） (2024-01-25T09:23:31Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
論文参考訳（メタデータ） (2023-06-02T17:07:12Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文参考訳（メタデータ） (2023-03-06T14:31:09Z)
Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文参考訳（メタデータ） (2022-10-04T17:55:27Z)
Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。彼らは不利な姿勢と収束の不安定さに悩まされる。本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文参考訳（メタデータ） (2021-06-06T18:05:02Z)
Analytical bounds on the local Lipschitz constants of ReLU networks [0.0]
我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
論文参考訳（メタデータ） (2021-04-29T21:57:47Z)
Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文参考訳（メタデータ） (2020-10-05T01:00:40Z)
On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文参考訳（メタデータ） (2020-06-15T13:23:34Z)
Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
論文参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。