論文の概要: Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration

• arxiv url: http://arxiv.org/abs/2305.16173v3
• Date: Mon, 19 Jun 2023 19:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:52:42.375306
• Title: Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration
• Title（参考訳）: グラム反復による畳み込み層に対するリプシッツ定数の効率的な境界
• Authors: Blaise Delattre, Quentin Barth\'elemy, Alexandre Araujo, Alexandre Allauzen
• Abstract要約: 循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
• 参考スコア（独自算出の注目度）: 122.51142131506639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the control of the Lipschitz constant has a great impact on the training stability, generalization, and robustness of neural networks, the estimation of this value is nowadays a real scientific challenge. In this paper we introduce a precise, fast, and differentiable upper bound for the spectral norm of convolutional layers using circulant matrix theory and a new alternative to the Power iteration. Called the Gram iteration, our approach exhibits a superlinear convergence. First, we show through a comprehensive set of experiments that our approach outperforms other state-of-the-art methods in terms of precision, computational cost, and scalability. Then, it proves highly effective for the Lipschitz regularization of convolutional neural networks, with competitive results against concurrent approaches. Code is available at https://github.com/blaisedelattre/lip4conv.
• Abstract（参考訳）: リプシッツ定数の制御は、ニューラルネットワークのトレーニングの安定性、一般化、堅牢性に大きな影響を与えるため、この値の推定は現在では真の科学的課題となっている。 本稿では,循環行列理論を用いた畳み込み層のスペクトルノルムの精度,高速,微分可能な上界とパワー反復の新たな代替について述べる。 グラム反復と呼ばれるこのアプローチは超線形収束を示す。 まず,本手法が他の最先端手法よりも精度,計算コスト,スケーラビリティにおいて優れていることを示す実験を総合的に実施する。 そして、畳み込みニューラルネットワークのリプシッツ正則化に対して高い効果が証明され、並行アプローチに対する競合結果が得られた。 コードはhttps://github.com/blaisedelattre/lip4convで入手できる。

関連論文リスト

• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Efficient Proximal Mapping of the 1-path-norm of Shallow Networks [47.20962674178505]
  1-path-norm ニューラルネットワークの2つの重要な特性を示す。 第一に、その非滑らかさと非正確さにもかかわらず、閉じた近位作用素を効率的に計算することができる。 第二に、活性化関数が微分可能であれば、リプシッツ定数の上界を与える。
  論文  参考訳（メタデータ） (2020-07-02T10:34:06Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。