論文の概要: Some Fundamental Aspects about Lipschitz Continuity of Neural Network
Functions
- arxiv url: http://arxiv.org/abs/2302.10886v1
- Date: Tue, 21 Feb 2023 18:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:01:09.028180
- Title: Some Fundamental Aspects about Lipschitz Continuity of Neural Network
Functions
- Title(参考訳): ニューラルネットワーク関数のリプシッツ連続性に関する基礎的側面
- Authors: Grigory Khromov, Sidak Pal Singh
- Abstract要約: リプシッツ連続性は任意の予測モデルの関数的性質である。
ニューラルネットワークを用いて学習した関数のリプシッツ挙動を調べた。
- 参考スコア(独自算出の注目度): 7.690774882108066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lipschitz continuity is a simple yet pivotal functional property of any
predictive model that lies at the core of its robustness, generalisation, and
adversarial vulnerability. Our aim is to thoroughly investigate and
characterise the Lipschitz behaviour of the functions learned via neural
networks. Despite the significant tightening of the bounds in the recent years,
precisely estimating the Lipschitz constant continues to be a practical
challenge and tight theoretical analyses, similarly, remain intractable.
Therefore, we shift our perspective and instead attempt to uncover insights
about the nature of Lipschitz constant of neural networks functions -- by
relying on the simplest and most general upper and lower bounds. We carry out
an empirical investigation in a range of different settings (architectures,
losses, optimisers, label noise, etc.), which reveals several fundamental and
intriguing traits of the Lipschitz continuity of neural networks functions, In
particular, we identify a remarkable double descent trend in both upper and
lower bounds to the Lipschitz constant which tightly aligns with the typical
double descent trend in the test loss.
- Abstract(参考訳): リプシッツ連続性(lipschitz continuity)は、ロバスト性、一般化、敵対的脆弱性の中核にある予測モデルの単純かつ重要な機能的性質である。
本研究の目的は,ニューラルネットワークを用いて学習した関数のリプシッツ挙動を徹底的に調査し,特徴付けることである。
近年、境界の大幅な厳密化にもかかわらず、リプシッツ定数の正確な推定は実用的課題であり続け、理論解析も同様に難解なままである。
したがって、我々の視点をシフトさせ、代わりに、最も単純で一般的な上界と下界に依存して、ニューラルネットワーク関数のリプシッツ定数の性質に関する洞察を明らかにする。
ニューラルネットワーク関数のリプシッツ連続性のいくつかの基本的かつ興味深い特徴を明らかにする様々な設定(アーキテクチャ、損失、オプティマイザ、ラベルノイズなど)において経験的調査を行い、特に、テスト損失の典型的な二重降下傾向と密に一致するリプシッツ定数に対する上下両方の境界において顕著な二重降下傾向を同定した。
関連論文リスト
- On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks [1.1060425537315086]
より小さなリプシッツ境界を持つポリシネットワークは、乱れやランダムノイズ、ターゲットとなる敵攻撃に対してより堅牢であることを示す。
スペクトル正規化の手法は保守的すぎるため,クリーンな性能に深刻な影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2024-05-19T03:27:31Z) - A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness [2.3020018305241337]
本稿では,凸ニューラルネットワークとルジャンドル・フェンシェル双対性に基づくバイリプシッツ性のための新しいフレームワークを提案する。
コンベックスニューラルネットワークとルジャンドル・フェンシェル双対性に基づく,このような明瞭で厳密な制御を実現する。
論文 参考訳(メタデータ) (2024-04-15T14:21:01Z) - Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted
Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。
このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。
提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文 参考訳(メタデータ) (2024-01-25T09:23:31Z) - Efficiently Computing Local Lipschitz Constants of Neural Networks via
Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。
既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。
ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-13T22:23:22Z) - Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文 参考訳(メタデータ) (2022-10-04T17:55:27Z) - Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural
Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。
リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。
本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文 参考訳(メタデータ) (2022-04-02T11:57:52Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳(メタデータ) (2020-10-05T01:00:40Z) - Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
1-path-norm ニューラルネットワークの2つの重要な特性を示す。
第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。
第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
論文 参考訳(メタデータ) (2020-07-02T10:34:06Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳(メタデータ) (2020-06-15T13:23:34Z) - The Lipschitz Constant of Self-Attention [27.61634862685452]
ニューラルネットワークのリプシッツ定数は、ディープラーニングにおいて様々な文脈で研究されている。
配列モデリングに広く用いられている非線形ニューラルネットワークモジュールである自己アテンションのリプシッツ定数について検討する。
論文 参考訳(メタデータ) (2020-06-08T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。