論文の概要: Scalable Lipschitz Estimation for CNNs

• arxiv url: http://arxiv.org/abs/2403.18613v2
• Date: Wed, 7 Aug 2024 09:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 17:20:23.145060
• Title: Scalable Lipschitz Estimation for CNNs
• Title（参考訳）: CNNのスケーラブルリプシッツ推定
• Authors: Yusuf Sulehman, Tingting Mu,
• Abstract要約: ディープニューラルネットワークのリプシッツ定数を推定することは、関心が高まっている。 CNNはコンピュータビジョン関連のアプリケーションにおける最近の成功の多くを支えている。 CNNのリプシッツ定数推定を高速化する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 3.8125535078871127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the Lipschitz constant of deep neural networks is of growing interest as it is useful for informing on generalisability and adversarial robustness. Convolutional neural networks (CNNs) in particular, underpin much of the recent success in computer vision related applications. However, although existing methods for estimating the Lipschitz constant can be tight, they have limited scalability when applied to CNNs. To tackle this, we propose a novel method to accelerate Lipschitz constant estimation for CNNs. The core idea is to divide a large convolutional block via a joint layer and width-wise partition, into a collection of smaller blocks. We prove an upper-bound on the Lipschitz constant of the larger block in terms of the Lipschitz constants of the smaller blocks. Through varying the partition factor, the resulting method can be adjusted to prioritise either accuracy or scalability and permits parallelisation. We demonstrate an enhanced scalability and comparable accuracy to existing baselines through a range of experiments.
• Abstract（参考訳）: ディープニューラルネットワークのリプシッツ定数を推定することは、一般化可能性や対向ロバスト性を示すのに役立つため、関心が高まっている。 特に畳み込みニューラルネットワーク(CNN)は、コンピュータビジョン関連のアプリケーションにおける最近の成功の多くを支えている。 しかし、リプシッツ定数を推定する既存の手法は厳密であるが、CNNに適用した場合のスケーラビリティは限られている。 そこで本研究では,CNNのリプシッツ定数推定を高速化する手法を提案する。 中心となる考え方は、大きな畳み込みブロックをジョイント層とワイドワイド分割によって小さなブロックの集合に分割することである。 我々は、より小さなブロックのリプシッツ定数の観点から、より大きなブロックのリプシッツ定数の上界を証明した。 分割係数を変化させることで、結果の方法は精度やスケーラビリティを優先して調整でき、並列化が可能である。 拡張されたスケーラビリティと既存のベースラインに匹敵する精度を、さまざまな実験を通じて示す。

関連論文リスト

• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。