論文の概要: Upper and lower bounds for the Lipschitz constant of random neural networks

• arxiv url: http://arxiv.org/abs/2311.01356v2
• Date: Fri, 1 Dec 2023 17:40:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 17:32:56.468666
• Title: Upper and lower bounds for the Lipschitz constant of random neural networks
• Title（参考訳）: ランダムニューラルネットワークのリプシッツ定数の上下境界
• Authors: Paul Geuchen, Thomas Heindl, Dominik St\"oger, Felix Voigtlaender
• Abstract要約: ランダムReLUニューラルネットワークのリプシッツ定数の上下境界について検討した。 浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。 一定の深さと十分に大きな幅を持つ深層ネットワークの場合、確立された境界は、幅の対数的な要因によって異なる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical studies have widely demonstrated that neural networks are highly sensitive to small, adversarial perturbations of the input. The worst-case robustness against these so-called adversarial examples can be quantified by the Lipschitz constant of the neural network. In this paper, we study upper and lower bounds for the Lipschitz constant of random ReLU neural networks. Specifically, we assume that the weights and biases follow a generalization of the He initialization, where general symmetric distributions for the biases are permitted. For shallow neural networks, we characterize the Lipschitz constant up to an absolute numerical constant. For deep networks with fixed depth and sufficiently large width, our established bounds differ by a factor that is logarithmic in the width.
• Abstract（参考訳）: 実験的研究により、ニューラルネットワークは入力の小さな対向的な摂動に非常に敏感であることが広く証明されている。 これらいわゆる逆例に対する最悪の場合のロバスト性は、ニューラルネットワークのリプシッツ定数によって定量化することができる。 本稿では,ランダムreluニューラルネットワークのリプシッツ定数の上限と下限について検討する。 具体的には、重みと偏りはHe初期化の一般化に従うと仮定し、偏りに対する一般対称分布が許容される。 浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。 奥行きが一定で幅が十分大きい深層ネットワークの場合、確立された境界は、幅の対数的な係数によって異なる。

関連論文リスト

• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• The Many Faces of 1-Lipschitz Neural Networks [1.911678487931003]
  1-Lipschitzニューラルネットワークは、古典的なものと同じくらい表現力のある任意の困難なフロンティアに適合できることを示しています。 また,関東ロビッチ・ルビンシュタイン双対性理論の正規化による1-Lipschitzネットワークの分類と最適輸送の関係についても検討した。
  論文  参考訳（メタデータ） (2021-04-11T20:31:32Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。