論文の概要: Lipschitz-bounded 1D convolutional neural networks using the Cayley
transform and the controllability Gramian
- arxiv url: http://arxiv.org/abs/2303.11835v2
- Date: Thu, 25 Jan 2024 09:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 18:35:37.312081
- Title: Lipschitz-bounded 1D convolutional neural networks using the Cayley
transform and the controllability Gramian
- Title（参考訳）: Cayley変換と制御性グラミアンを用いたリプシッツ結合1次元畳み込みニューラルネットワーク
- Authors: Patricia Pauli, Ruigang Wang, Ian R. Manchester, Frank Allg\"ower
- Abstract要約: エンド・ツー・エンドの保証を組み込んだ1次元畳み込みニューラルネットワーク(CNN)のレイヤワイドパラメータ化を確立する。
このような場合、CNNをロバスト性尺度として特徴付ける入出力写像のリプシッツ定数を用いる。
我々はリプシッツに結合した1D CNNを心拍数分類のために訓練し、その堅牢性の向上を示した。
- 参考スコア（独自算出の注目度）: 1.1060425537315086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish a layer-wise parameterization for 1D convolutional neural
networks (CNNs) with built-in end-to-end robustness guarantees. In doing so, we
use the Lipschitz constant of the input-output mapping characterized by a CNN
as a robustness measure. We base our parameterization on the Cayley transform
that parameterizes orthogonal matrices and the controllability Gramian of the
state space representation of the convolutional layers. The proposed
parameterization by design fulfills linear matrix inequalities that are
sufficient for Lipschitz continuity of the CNN, which further enables
unconstrained training of Lipschitz-bounded 1D CNNs. Finally, we train
Lipschitz-bounded 1D CNNs for the classification of heart arrythmia data and
show their improved robustness.
- Abstract（参考訳）: 1次元畳み込みニューラルネットワーク(cnns)に対して,エンドツーエンドのロバスト性保証を組み込んだ階層型パラメータ化を行う。
このような場合、CNNをロバスト性尺度として特徴付ける入出力写像のリプシッツ定数を用いる。
我々は直交行列をパラメータ化するケイリー変換と畳み込み層の状態空間表現の可制御性グラミアンに基づいてパラメータ化を行う。
設計によるパラメータ化は、cnnのリプシッツ連続性に十分な線形行列不等式を満たし、さらにリプシッツ束縛された1次元cnnの無拘束な訓練を可能にする。
最後に,リプシッツに結合した1D CNNを心房細動データの分類のために訓練し,その堅牢性の向上を示した。
関連論文リスト
- LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:20:14Z) - Parseval Convolution Operators and Neural Networks [16.78532039510369]
まず、Parseval畳み込み演算子をエネルギー保存フィルタバンクのクラスとして同定する。
次に,基本Parsevalモジュールの連鎖によるフィルタバンクの設計・特定のための構築的アプローチを提案する。
生体医用画像の反復的再構成のためのCNNアルゴリズムの設計により,これらのツールの使用例を示す。
論文 参考訳（メタデータ） (2024-08-19T13:31:16Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳（メタデータ） (2023-05-25T15:32:21Z) - Lipschitz constant estimation for 1D convolutional neural networks [0.0]
本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。
特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
論文 参考訳（メタデータ） (2022-11-28T12:09:06Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳（メタデータ） (2022-07-13T22:55:04Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳（メタデータ） (2022-02-16T21:24:54Z) - Skew Orthogonal Convolutions [44.053067014796596]
Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。
Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-05-24T17:11:44Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - Certifying Incremental Quadratic Constraints for Neural Networks via
Convex Optimization [2.388501293246858]
我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。
証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
論文 参考訳（メタデータ） (2020-12-10T21:15:00Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。