論文の概要: Some Fundamental Aspects about Lipschitz Continuity of Neural Network Functions

• arxiv url: http://arxiv.org/abs/2302.10886v2
• Date: Tue, 30 May 2023 12:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 01:29:43.752729
• Title: Some Fundamental Aspects about Lipschitz Continuity of Neural Network Functions
• Title（参考訳）: ニューラルネットワーク関数のリプシッツ連続性に関する基礎的側面
• Authors: Grigory Khromov, Sidak Pal Singh
• Abstract要約: リプシッツ連続性は任意の予測モデルの重要な機能特性である。 ニューラルネットワークによって実現された関数のリプシッツ挙動を調べた。
• 参考スコア（独自算出の注目度）: 7.690774882108066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lipschitz continuity is a simple yet crucial functional property of any predictive model for it lies at the core of the model's robustness, generalisation, as well as adversarial vulnerability. Our aim is to thoroughly investigate and characterise the Lipschitz behaviour of the functions realised by neural networks. Thus, we carry out an empirical investigation in a range of different settings (namely, architectures, losses, optimisers, label noise, and more) by exhausting the limits of the simplest and the most general lower and upper bounds. Although motivated primarily by computational hardness results, this choice nevertheless turns out to be rather resourceful and sheds light on several fundamental and intriguing traits of the Lipschitz continuity of neural network functions, which we also supplement with suitable theoretical arguments. As a highlight of this investigation, we identify a striking double descent trend in both upper and lower bounds to the Lipschitz constant with increasing network width -- which tightly aligns with the typical double descent trend in the test loss. Lastly, we touch upon the seeming (counter-intuitive) decline of the Lipschitz constant in the presence of label noise.
• Abstract（参考訳）: リプシッツ連続性(lipschitz continuity)は、モデルの堅牢性、一般化、および敵対的脆弱性の中核にある予測モデルの単純かつ重要な機能的性質である。 本研究の目的は,ニューラルネットワークによって実現される関数のリプシッツ挙動を徹底的に調査し,特徴付けることである。 そこで我々は,最も単純で一般的な下界と上界の限界をなくし,様々な設定(アーキテクチャ,損失,オプティマイザ,ラベルノイズなど)で経験的調査を行う。 この選択は、主に計算のハードネスの結果に動機づけられているが、それでもかなりリソースに富み、ニューラルネットワーク関数のリプシッツ連続性のいくつかの基礎的かつ興味深い特徴に光を当てている。 この研究のハイライトとして、テスト損失の典型的な二重降下傾向と密に一致したネットワーク幅が増加するリプシッツ定数の上下境界における顕著な二重降下傾向を同定する。 最後に、ラベルノイズの存在下でリプシッツ定数が(直観的に)低下しているように見えることに触れます。

関連論文リスト

• On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks [1.1060425537315086]
  より小さなリプシッツ境界を持つポリシネットワークは、乱れやランダムノイズ、ターゲットとなる敵攻撃に対してより堅牢であることを示す。 スペクトル正規化の手法は保守的すぎるため,クリーンな性能に深刻な影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2024-05-19T03:27:31Z)
• A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness [2.3020018305241337]
  本稿では,凸ニューラルネットワークとルジャンドル・フェンシェル双対性に基づくバイリプシッツ性のための新しいフレームワークを提案する。 コンベックスニューラルネットワークとルジャンドル・フェンシェル双対性に基づく,このような明瞭で厳密な制御を実現する。
  論文  参考訳（メタデータ） (2024-04-15T14:21:01Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• The Lipschitz Constant of Self-Attention [27.61634862685452]
  ニューラルネットワークのリプシッツ定数は、ディープラーニングにおいて様々な文脈で研究されている。 配列モデリングに広く用いられている非線形ニューラルネットワークモジュールである自己アテンションのリプシッツ定数について検討する。
  論文  参考訳（メタデータ） (2020-06-08T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。