論文の概要: Approximation theory for 1-Lipschitz ResNets

• arxiv url: http://arxiv.org/abs/2505.12003v1
• Date: Sat, 17 May 2025 13:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.984489
• Title: Approximation theory for 1-Lipschitz ResNets
• Title（参考訳）: 1-Lipschitz ResNetの近似理論
• Authors: Davide Murari, Takashi Furuya, Carola-Bibiane Schönlieb,
• Abstract要約: 負勾配流の明示的なステップに基づく1-Lipschitz残差ネットワーク(ResNets)に着目した。 本稿では,1-Lipschitz ResNets に対する最初の普遍近似保証を提供する。
• 参考スコア（独自算出の注目度）: 10.316724084739889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 1-Lipschitz neural networks are fundamental for generative modelling, inverse problems, and robust classifiers. In this paper, we focus on 1-Lipschitz residual networks (ResNets) based on explicit Euler steps of negative gradient flows and study their approximation capabilities. Leveraging the Restricted Stone-Weierstrass Theorem, we first show that these 1-Lipschitz ResNets are dense in the set of scalar 1-Lipschitz functions on any compact domain when width and depth are allowed to grow. We also show that these networks can exactly represent scalar piecewise affine 1-Lipschitz functions. We then prove a stronger statement: by inserting norm-constrained linear maps between the residual blocks, the same density holds when the hidden width is fixed. Because every layer obeys simple norm constraints, the resulting models can be trained with off-the-shelf optimisers. This paper provides the first universal approximation guarantees for 1-Lipschitz ResNets, laying a rigorous foundation for their practical use.
• Abstract（参考訳）: 1-Lipschitzニューラルネットワークは、生成モデリング、逆問題、ロバスト分類器の基本である。 本稿では,負の勾配流のユーラーステップに基づく1-Lipschitz残差ネットワーク(ResNets)に着目し,その近似能力について検討する。 Restricted Stone-Weierstrass Theorem を用いて、この 1-Lipschitz ResNet は、幅と深さが増大することを許すような任意のコンパクト領域上のスカラー 1-Lipschitz 関数の集合において密であることを示す。 また,これらのネットワークはスカラー1-Lipschitz関数を正確に表現できることを示す。 残りのブロックの間にノルム制約付き線型写像を挿入することにより、隠れた幅が固定されたときに同じ密度が保持される。 すべての層は単純なノルム制約に従うため、結果として得られるモデルは、既製のオプティマイザで訓練することができる。 本稿では, 1-Lipschitz ResNets に対する最初の普遍近似保証を提供し, 実用化のための厳密な基礎を築き上げている。

関連論文リスト

• Hidden Synergy: $L_1$ Weight Normalization and 1-Path-Norm Regularization [0.0]
  PSiLON Netの設計が1-path-normを大幅に単純化することを示す。 そこで本研究では,訓練の最終段階において,正確な空間性を実現するためのプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T21:25:25Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• The Many Faces of 1-Lipschitz Neural Networks [1.911678487931003]
  1-Lipschitzニューラルネットワークは、古典的なものと同じくらい表現力のある任意の困難なフロンティアに適合できることを示しています。 また,関東ロビッチ・ルビンシュタイン双対性理論の正規化による1-Lipschitzネットワークの分類と最適輸送の関係についても検討した。
  論文  参考訳（メタデータ） (2021-04-11T20:31:32Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。