論文の概要: On the Lipschitz constant of random neural networks

• arxiv url: http://arxiv.org/abs/2311.01356v1
• Date: Thu, 2 Nov 2023 16:03:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:45:23.641330
• Title: On the Lipschitz constant of random neural networks
• Title（参考訳）: ランダムニューラルネットワークのリプシッツ定数について
• Authors: Paul Geuchen, Thomas Heindl, Dominik St\"oger, Felix Voigtlaender
• Abstract要約: ランダムReLUニューラルネットワークのリプシッツ定数について検討した。 浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。 我々は解析を十分に広い幅の深いニューラルネットワークに拡張し、リプシッツ定数の上下境界を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical studies have widely demonstrated that neural networks are highly sensitive to small, adversarial perturbations of the input. The worst-case robustness against these so-called adversarial examples can be quantified by the Lipschitz constant of the neural network. However, only few theoretical results regarding this quantity exist in the literature. In this paper, we initiate the study of the Lipschitz constant of random ReLU neural networks, i.e., neural networks whose weights are chosen at random and which employ the ReLU activation function. For shallow neural networks, we characterize the Lipschitz constant up to an absolute numerical constant. Moreover, we extend our analysis to deep neural networks of sufficiently large width where we prove upper and lower bounds for the Lipschitz constant. These bounds match up to a logarithmic factor that depends on the depth.
• Abstract（参考訳）: 実験的研究により、ニューラルネットワークは入力の小さな対向的な摂動に非常に敏感であることが広く証明されている。 これらいわゆる逆例に対する最悪の場合のロバスト性は、ニューラルネットワークのリプシッツ定数によって定量化することができる。 しかし、この量に関する理論的な結果はほとんど文献に残っていない。 本稿では、ランダムReLUニューラルネットワークのリプシッツ定数、すなわち、ランダムに重みが選択され、ReLU活性化関数を用いるニューラルネットワークの研究を開始する。 浅いニューラルネットワークでは、リプシッツ定数を絶対数値定数まで特徴づける。 さらに、我々は解析を十分に広い幅の深部ニューラルネットワークに拡張し、リプシッツ定数の上下境界を証明した。 これらの境界は深さに依存する対数係数に一致する。

関連論文リスト

• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• The Many Faces of 1-Lipschitz Neural Networks [1.911678487931003]
  1-Lipschitzニューラルネットワークは、古典的なものと同じくらい表現力のある任意の困難なフロンティアに適合できることを示しています。 また,関東ロビッチ・ルビンシュタイン双対性理論の正規化による1-Lipschitzネットワークの分類と最適輸送の関係についても検討した。
  論文  参考訳（メタデータ） (2021-04-11T20:31:32Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。