論文の概要: Some Fundamental Aspects about Lipschitz Continuity of Neural Networks

• arxiv url: http://arxiv.org/abs/2302.10886v4
• Date: Tue, 14 May 2024 18:19:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 18:41:34.616104
• Title: Some Fundamental Aspects about Lipschitz Continuity of Neural Networks
• Title（参考訳）: ニューラルネットワークのリプシッツ連続性に関する基礎的研究
• Authors: Grigory Khromov, Sidak Pal Singh,
• Abstract要約: リプシッツ連続性は任意の予測モデルの重要な機能特性である。 ニューラルネットワークのリプシッツ挙動を調べた。 リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
• 参考スコア（独自算出の注目度）: 6.576051895863941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lipschitz continuity is a crucial functional property of any predictive model, that naturally governs its robustness, generalisation, as well as adversarial vulnerability. Contrary to other works that focus on obtaining tighter bounds and developing different practical strategies to enforce certain Lipschitz properties, we aim to thoroughly examine and characterise the Lipschitz behaviour of Neural Networks. Thus, we carry out an empirical investigation in a range of different settings (namely, architectures, datasets, label noise, and more) by exhausting the limits of the simplest and the most general lower and upper bounds. As a highlight of this investigation, we showcase a remarkable fidelity of the lower Lipschitz bound, identify a striking Double Descent trend in both upper and lower bounds to the Lipschitz and explain the intriguing effects of label noise on function smoothness and generalisation.
• Abstract（参考訳）: リプシッツ連続性は任意の予測モデルの重要な機能特性であり、その堅牢性、一般化、および敵の脆弱性を自然に支配する。 より厳密な境界の獲得と、特定のリプシッツ特性を強制するための異なる実践戦略の開発に焦点を当てた他の研究とは対照的に、ニューラルネットワークのリプシッツ挙動を徹底的に検討し、特徴付けることを目的としている。 このようにして、最も単純な下限と最も一般的な下限と上限の限界をなくすことにより、さまざまな設定(アーキテクチャ、データセット、ラベルノイズなど)で実証的な調査を行う。 この研究のハイライトとして、下リプシッツ境界の顕著な忠実さを示し、上と下の両方の境界における顕著な二重輝き傾向を特定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。

関連論文リスト

• On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks [1.1060425537315086]
  リプシッツ境界上の制約を自然に満たす政策パラメータ化の利点について検討する。 我々は、小さなリプシッツ境界を持つ政策ネットワークが、乱れやランダムノイズ、標的となる敵攻撃に対して、はるかに堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-05-19T03:27:31Z)
• A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness [2.3020018305241337]
  本稿では,凸ニューラルネットワークとルジャンドル・フェンシェル双対性に基づくバイリプシッツ性のための新しいフレームワークを提案する。 コンベックスニューラルネットワークとルジャンドル・フェンシェル双対性に基づく,このような明瞭で厳密な制御を実現する。
  論文  参考訳（メタデータ） (2024-04-15T14:21:01Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• The Lipschitz Constant of Self-Attention [27.61634862685452]
  ニューラルネットワークのリプシッツ定数は、ディープラーニングにおいて様々な文脈で研究されている。 配列モデリングに広く用いられている非線形ニューラルネットワークモジュールである自己アテンションのリプシッツ定数について検討する。
  論文  参考訳（メタデータ） (2020-06-08T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。