論文の概要: A rescaling-invariant Lipschitz bound based on path-metrics for modern ReLU network parameterizations

• arxiv url: http://arxiv.org/abs/2405.15006v2
• Date: Sat, 11 Jan 2025 20:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:43.926787
• Title: A rescaling-invariant Lipschitz bound based on path-metrics for modern ReLU network parameterizations
• Title（参考訳）: 現代のReLUネットワークパラメータ化のためのパスメトリックに基づく再スケーリング不変リプシッツ境界
• Authors: Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, Rémi Gribonval,
• Abstract要約: リプシッツ境界は、一般化、量子化、プルーニング保証を確立するために重要である。 本稿では、パラメータのパスメトリックと呼ばれる観点から、新しいリプシッツ境界を証明した。 これは、ResNets、VGGs、U-netsなど、現代のネットワークに広く適用される最初の境界である。
• 参考スコア（独自算出の注目度）: 13.894485461969772
• License:
• Abstract: Lipschitz bounds on neural network parameterizations are important to establish generalization, quantization or pruning guarantees, as they control the robustness of the network with respect to parameter changes. Yet, there are few Lipschitz bounds with respect to parameters in the literature, and existing ones only apply to simple feedforward architectures, while also failing to capture the intrinsic rescaling-symmetries of ReLU networks. This paper proves a new Lipschitz bound in terms of the so-called path-metrics of the parameters. Since this bound is intrinsically invariant with respect to the rescaling symmetries of the networks, it sharpens previously known Lipschitz bounds. It is also, to the best of our knowledge, the first bound of its kind that is broadly applicable to modern networks such as ResNets, VGGs, U-nets, and many more.
• Abstract（参考訳）: リプシッツ境界は、パラメータの変化に関してネットワークの堅牢性を制御するため、一般化、量子化、プルーニング保証を確立するために重要である。 しかし、文献のパラメータに関して、リプシッツ境界はほとんどなく、既存の境界は単純なフィードフォワードアーキテクチャにのみ適用されるが、ReLUネットワークの固有の再スケーリング対称性を捉えていない。 本稿では、パラメータのパスメトリックと呼ばれる観点から、新しいリプシッツ境界を証明した。 この境界は、ネットワークの再スケーリング対称性に関して本質的に不変であるため、以前は知られていたリプシッツ境界を鋭くする。 また、私たちの知る限りでは、ResNets、VGGs、U-netsなど、現代のネットワークに広く適用可能な、この種の最初の境界でもある。

関連論文リスト

• Three Quantization Regimes for ReLU Networks [3.823356975862005]
  有限精度重み付き深部ReLUニューラルネットワークによるリプシッツ関数近似の基本的な限界を確立する。 適切な量子化方式では、ニューラルネットワークはリプシッツ関数の近似においてメモリ最適性を示す。
  論文  参考訳（メタデータ） (2024-05-03T09:27:31Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Direct Parameterization of Lipschitz-Bounded Deep Networks [3.883460584034766]
  本稿では,深部ニューラルネットワーク(完全接続および畳み込みの両方)の新たなパラメータ化を提案する。 リプシッツ保証は半確定プログラム(SDP)による認証に基づく最も厳密な既知の境界と等価である 直接のパラメータ化、すなわち$mathbb RN$ から SDP ベースの境界を満たす重みの集合への滑らかな写像を提供する。
  論文  参考訳（メタデータ） (2023-01-27T04:06:31Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。