論文の概要: A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations

• arxiv url: http://arxiv.org/abs/2405.15006v3
• Date: Fri, 13 Jun 2025 08:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 15:41:30.972744
• Title: A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations
• Title（参考訳）: 最新のReLUネットワークパラメータ化のためのパスメトリックに基づくリスケーリング不変リプシッツ境界
• Authors: Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, Rémi Gribonval,
• Abstract要約: 重みの $ell1$-path-metric で表される新しいリプシッツの不等式を証明した。 これはどんなReLU-DAGアーキテクチャにも適用され、畳み込み、接続のスキップ、プーリング、フリーズ(リアルタイム)バッチ正規化が組み合わさっている。 ネットワークの自然な対称性を尊重することにより、新しい境界はパラメータ空間境界を厳格にシャープし、2つの前方通過で計算できる。
• 参考スコア（独自算出の注目度）: 13.894485461969772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness with respect to weight perturbations underpins guarantees for generalization, pruning and quantization. Existing guarantees rely on Lipschitz bounds in parameter space, cover only plain feed-forward MLPs, and break under the ubiquitous neuron-wise rescaling symmetry of ReLU networks. We prove a new Lipschitz inequality expressed through the $\ell^1$-path-metric of the weights. The bound is (i) rescaling-invariant by construction and (ii) applies to any ReLU-DAG architecture with any combination of convolutions, skip connections, pooling, and frozen (inference-time) batch-normalization -- thus encompassing ResNets, U-Nets, VGG-style CNNs, and more. By respecting the network's natural symmetries, the new bound strictly sharpens prior parameter-space bounds and can be computed in two forward passes. To illustrate its utility, we derive from it a symmetry-aware pruning criterion and show -- through a proof-of-concept experiment on a ResNet-18 trained on ImageNet -- that its pruning performance matches that of classical magnitude pruning, while becoming totally immune to arbitrary neuron-wise rescalings.
• Abstract（参考訳）: 重量摂動に関するロバスト性は、一般化、プルーニング、量子化の保証を支えている。 既存の保証はパラメータ空間におけるリプシッツ境界に依存し、通常のフィードフォワード MLP のみをカバーし、ReLUネットワークのユビキタスニューロンワイド・リスケーリング対称性の下で破る。 重みの$\ell^1$-path-metricで表される新しいリプシッツの不等式を証明する。 bound (複数形 bounds) 一 工事による再スケーリング不変 (ii) 畳み込み、接続のスキップ、プーリング、フリーズ(推論時)のバッチ正規化を組み合わせたReLU-DAGアーキテクチャに適用される。 ネットワークの自然な対称性を尊重することにより、新しい境界はパラメータ空間境界を厳格にシャープし、2つの前方通過で計算できる。 ImageNetでトレーニングされたResNet-18で概念実証実験を行い、そのプルーニング性能は古典的な大きさのプルーニングと一致し、任意のニューロンのリスケーリングに対して完全に免疫を持つことを示した。

関連論文リスト

• Metric Convolutions: A Unifying Theory to Adaptive Convolutions [3.481985817302898]
  メトリック畳み込みは、画像処理とディープラーニングにおける標準的な畳み込みを置き換える。 パラメータを少なくし、より良い一般化を提供する。 提案手法は,標準的な分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2024-06-08T08:41:12Z)
• Three Quantization Regimes for ReLU Networks [3.823356975862005]
  有限精度重み付き深部ReLUニューラルネットワークによるリプシッツ関数近似の基本的な限界を確立する。 適切な量子化方式では、ニューラルネットワークはリプシッツ関数の近似においてメモリ最適性を示す。
  論文  参考訳（メタデータ） (2024-05-03T09:27:31Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• A Lifted Bregman Formulation for the Inversion of Deep Neural Networks [28.03724379169264]
  本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。 理論的結果を提示し,その実用的応用を数値的な例で支援する。
  論文  参考訳（メタデータ） (2023-03-01T20:30:22Z)
• Direct Parameterization of Lipschitz-Bounded Deep Networks [3.883460584034766]
  本稿では,深部ニューラルネットワーク(完全接続および畳み込みの両方)の新たなパラメータ化を提案する。 リプシッツ保証は半確定プログラム(SDP)による認証に基づく最も厳密な既知の境界と等価である 直接のパラメータ化、すなわち$mathbb RN$ から SDP ベースの境界を満たす重みの集合への滑らかな写像を提供する。
  論文  参考訳（メタデータ） (2023-01-27T04:06:31Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• A Pairwise Connected Tensor Network Representation of Path Integrals [0.0]
  ファインマン・ヴァーノン関数を含む実時間経路積分のテンソル的性質をどのように活用できるかが最近示されている。 ここでは、一般化テンソルネットワークを導出し、影響関数の対相互作用構造を具体化して実装する。 この対接続テンソルネットワークパス積分(PCTNPI)は、典型的なスピンボソン問題への応用とスペクトル密度の正確な形に起因する差の探索を通じて説明される。
  論文  参考訳（メタデータ） (2021-06-28T18:30:17Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Deep connections between learning from limited labels & physical parameter estimation -- inspiration for regularization [0.0]
  PDE制約最適化におけるモデルパラメータの明示的な正規化は、ネットワーク出力の正規化に変換されることを示す。 ハイパースペクトルイメージングの例は、最適正規化パラメータのクロスバリデーションと共に最小の事前情報がセグメンテーション精度を高めることを示している。
  論文  参考訳（メタデータ） (2020-03-17T19:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。