論文の概要: LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers
- arxiv url: http://arxiv.org/abs/2410.22258v1
- Date: Tue, 29 Oct 2024 17:20:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:41:18.940580
- Title: LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers
- Title（参考訳）: LipKernel: 拡散層によるリプシッツ境界を持つ畳み込みニューラルネットワーク
- Authors: Patricia Pauli, Ruigang Wang, Ian Manchester, Frank Allgöwer,
- Abstract要約: 本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
- 参考スコア（独自算出の注目度）: 0.0468732641979009
- License:
- Abstract: We propose a novel layer-wise parameterization for convolutional neural networks (CNNs) that includes built-in robustness guarantees by enforcing a prescribed Lipschitz bound. Each layer in our parameterization is designed to satisfy a linear matrix inequality (LMI), which in turn implies dissipativity with respect to a specific supply rate. Collectively, these layer-wise LMIs ensure Lipschitz boundedness for the input-output mapping of the neural network, yielding a more expressive parameterization than through spectral bounds or orthogonal layers. Our new method LipKernel directly parameterizes dissipative convolution kernels using a 2-D Roesser-type state space model. This means that the convolutional layers are given in standard form after training and can be evaluated without computational overhead. In numerical experiments, we show that the run-time using our method is orders of magnitude faster than state-of-the-art Lipschitz-bounded networks that parameterize convolutions in the Fourier domain, making our approach particularly attractive for improving robustness of learning-based real-time perception or control in robotics, autonomous vehicles, or automation systems. We focus on CNNs, and in contrast to previous works, our approach accommodates a wide variety of layers typically used in CNNs, including 1-D and 2-D convolutional layers, maximum and average pooling layers, as well as strided and dilated convolutions and zero padding. However, our approach naturally extends beyond CNNs as we can incorporate any layer that is incrementally dissipative.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
パラメータ化の各層は線形行列不等式 (LMI) を満たすように設計されており、これは特定の供給速度に対する分離性を意味する。
これらの階層的なLMIは、ニューラルネットワークの入出力マッピングに対するリプシッツのバウンドネスを保証し、スペクトル境界や直交層よりも表現力のあるパラメータ化をもたらす。
我々の新しい手法であるLipKernelは、2次元ローザー型状態空間モデルを用いて、散逸的畳み込みカーネルを直接パラメータ化する。
これは、畳み込み層が訓練後に標準的な形で与えられ、計算オーバーヘッドなしで評価できることを意味する。
本稿では,Fourier領域の畳み込みをパラメータ化し,ロボット,自律走行車,自動システムの学習に基づくリアルタイム認識や制御の堅牢性を向上させるために,我々の手法が特に魅力的であることを示す。
我々は,CNNに着目し,従来の研究とは対照的に,従来のCNNでは1次元および2次元の畳み込み層,最大および平均プール層,ストライドと拡張された畳み込み,ゼロパディングなど,多種多様なレイヤに対応している。
しかし、我々のアプローチはCNNを超えて自然に拡張され、段階的に散逸するあらゆるレイヤを組み込むことができます。
関連論文リスト
- Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。
深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。
我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
論文 参考訳（メタデータ） (2024-11-04T11:38:27Z) - Lipschitz constant estimation for general neural network architectures using control tools [0.05120567378386613]
本稿では,半定値プログラミングを用いたニューラルネットワークのリプシッツ定数の推定について述べる。
この目的のために、ニューラルネットワークを時間変動力学系と解釈し、そこでは、$k$-th層が時間$k$のダイナミックスに対応する。
論文 参考訳（メタデータ） (2024-05-02T09:38:16Z) - Automatic Optimisation of Normalised Neural Networks [1.0334138809056097]
ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。
我々の手法はまずネットワークを初期化し、初期化ネットワークの$ell2$-$ell2$ゲインに関してデータを正規化する。
論文 参考訳（メタデータ） (2023-12-17T10:13:42Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳（メタデータ） (2023-05-25T15:32:21Z) - Lipschitz-bounded 1D convolutional neural networks using the Cayley
transform and the controllability Gramian [1.1060425537315086]
エンド・ツー・エンドの保証を組み込んだ1次元畳み込みニューラルネットワーク(CNN)のレイヤワイドパラメータ化を確立する。
このような場合、CNNをロバスト性尺度として特徴付ける入出力写像のリプシッツ定数を用いる。
我々はリプシッツに結合した1D CNNを心拍数分類のために訓練し、その堅牢性の向上を示した。
論文 参考訳（メタデータ） (2023-03-20T12:25:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Lipschitz constant estimation for 1D convolutional neural networks [0.0]
本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。
特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
論文 参考訳（メタデータ） (2022-11-28T12:09:06Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。