論文の概要: 1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem

• arxiv url: http://arxiv.org/abs/2503.00240v1
• Date: Fri, 28 Feb 2025 23:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:52.084736
• Title: 1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem
• Title（参考訳）: 1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem
• Authors: Marius F. R. Juston, William R. Norris, Dustin Nottage, Ahmet Soylemezoglu,
• Abstract要約: 本稿では,SDPベースのLipschitz Layers(SLL)とAOL(AOL)の2つの標準1-Lipschitzネットワーク構造手法の重量パラメトリゼーションについて論じる。 重み分散は出力の分散分布に関係がなく、重み行列の次元のみが重要であることを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper discusses the weight parametrization of two standard 1-Lipschitz network structure methodologies, the Almost-Orthogonal-Layers (AOL) and the SDP-based Lipschitz Layers (SLL), and derives their impact on the initialization for deep 1-Lipschitz feedforward networks in addition to discussing underlying issues surrounding this initialization. These networks are mainly used in certifiably robust classification applications to combat adversarial attacks by limiting the effects of perturbations on the output classification result. An exact and an upper bound for the parameterized weight variance was calculated assuming a standard Normal distribution initialization; additionally, an upper bound was computed assuming a Generalized Normal Distribution, generalizing the proof for Uniform, Laplace, and Normal distribution weight initializations. It is demonstrated that the weight variance holds no bearing on the output variance distribution and that only the dimension of the weight matrices matters. Additionally, this paper demonstrates that the weight initialization always causes deep 1-Lipschitz networks to decay to zero.
• Abstract（参考訳）: 本稿では,2つの標準1-Lipschitzネットワーク構造法(AOL)とSDPベースのLipschitz Layers(SLL)の重みパラメトリゼーションについて論じるとともに,この初期化にまつわる問題に加えて,深度1-Lipschitzフィードフォワードネットワークの初期化への影響を考察する。 これらのネットワークは、主に、出力分類結果に対する摂動の影響を制限することにより、敵攻撃と戦うための堅牢な分類アプリケーションに使用される。 標準正規分布初期化を仮定したパラメータ化重量分散の精度と上限を算出し, 一般正規分布を仮定した上限を計算し, 均一分布, ラプラス分布, 正規分布初期化の証明を一般化した。 重み分散は出力の分散分布に関係がなく、重み行列の次元のみが重要であることを実証した。 さらに,重み初期化が常に深い1-Lipschitzネットワークをゼロに崩壊させることを示す。

関連論文リスト

• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Dataset-Free Weight-Initialization on Restricted Boltzmann Machine [0.0]
  フィードフォワードニューラルネットワークでは,データセットフリーの重み初期化手法が開発されている。 制限ボルツマンマシン(RBM)のためのデータセットフリーウェイト初期化法はまだ開発されていない 本研究では,Bernoulli--Bernoulli RBMの統計力学解析に基づくデータセットフリー重量初期化法を導出する。
  論文  参考訳（メタデータ） (2024-09-12T02:25:04Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Explicit regularization and implicit bias in deep network classifiers trained with the square loss [2.8935588665357077]
  平方損失で訓練された深いReLUネットワークは分類の仕事でよく機能するために観察されました。 正規化法を重み決定法とともに用いる場合,絶対最小ノルムの解への収束が期待できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T21:07:56Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Structured Weight Priors for Convolutional Neural Networks [74.1348917619643]
  本稿では,重み前への構造付加の利点について考察する。 まず、畳み込みNNの第1層フィルタについて検討し、ランダムなガボルフィルタに基づいて事前設計を行う。 実験結果から、これらの構造的な重み付けは、画像データに対してより意味のある機能的先行をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2020-07-12T13:05:51Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• A Neural Network Based on First Principles [13.554038901140949]
  ニューラルネットワークは、各層が線形次元還元変換から始まると仮定して、第一原理から導かれる。 この手法は最大エントロピー(MaxEnt)の原理に訴え、各層の入力データの後方分布を求める。
  論文  参考訳（メタデータ） (2020-02-18T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。