論文の概要: LDLT $\mathcal{L}$-Lipschitz Network: Generalized Deep End-To-End Lipschitz Network Construction
- arxiv url: http://arxiv.org/abs/2512.05915v1
- Date: Fri, 05 Dec 2025 17:51:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-13 22:40:57.119615
- Title: LDLT $\mathcal{L}$-Lipschitz Network: Generalized Deep End-To-End Lipschitz Network Construction
- Title（参考訳）: LDLT $\mathcal{L}$-Lipschitz Network: Generalized Deep End-to-End Lipschitz Network Construction
- Authors: Marius F. R. Juston, Ramavarapu S. Sreenivas, Dustin Nottage, Ahmet Soylemezoglu,
- Abstract要約: ニューラルネットワークにおけるリプシッツ定数の制御は、敵の堅牢性とネットワークのセルチフィビリティを高めるために重要な研究領域として浮上している。
本稿では,LMI(Linear Matrix Inequality)フレームワークを用いた$mathcalL$-Lipschitzディープ残差ネットワークの汎用設計に対する厳密なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 3.744861320984297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep residual networks (ResNets) have demonstrated outstanding success in computer vision tasks, attributed to their ability to maintain gradient flow through deep architectures. Simultaneously, controlling the Lipschitz constant in neural networks has emerged as an essential area of research to enhance adversarial robustness and network certifiability. This paper presents a rigorous approach to the general design of $\mathcal{L}$-Lipschitz deep residual networks using a Linear Matrix Inequality (LMI) framework. Initially, the ResNet architecture was reformulated as a cyclic tridiagonal LMI, and closed-form constraints on network parameters were derived to ensure $\mathcal{L}$-Lipschitz continuity; however, using a new $LDL^\top$ decomposition approach for certifying LMI feasibility, we extend the construction of $\mathcal{L}$-Lipchitz networks to any other nonlinear architecture. Our contributions include a provable parameterization methodology for constructing Lipschitz-constrained residual networks and other hierarchical architectures. Cholesky decomposition is also used for efficient parameterization. These findings enable robust network designs applicable to adversarial robustness, certified training, and control systems. The $LDL^\top$ formulation is shown to be a tight relaxation of the SDP-based network, maintaining full expressiveness and achieving 3\%-13\% accuracy gains over SLL Layers on 121 UCI data sets.
- Abstract（参考訳）: ディープ残差ネットワーク(ResNets)は、ディープアーキテクチャを通して勾配流を維持する能力によって、コンピュータビジョンタスクにおいて顕著な成功を収めた。
同時に、ニューラルネットワークにおけるリプシッツ定数の制御は、敵の堅牢性とネットワークのセルティフィビリティを高めるために重要な研究領域として浮上している。
本稿では,線形行列不等式(LMI)フレームワークを用いた$\mathcal{L}$-Lipschitzディープ残差ネットワークの一般設計に対する厳密なアプローチを提案する。
当初、ResNetアーキテクチャは巡回三角形LMIとして再設計され、ネットワークパラメータのクローズドフォーム制約は$\mathcal{L}$-Lipschitz連続性を保証するために導出されたが、LMIの実現性を証明する新しい$LDL^\top$分解アプローチを用いて、$\mathcal{L}$-Lipchitzネットワークの構成を他の非線形アーキテクチャに拡張した。
我々の貢献には、リプシッツ制約された残留ネットワークやその他の階層的アーキテクチャを構築するための証明可能なパラメータ化手法が含まれる。
コレスキー分解は効率的なパラメータ化にも用いられる。
これらの知見は、敵の堅牢性、認定トレーニング、制御システムに適用可能な堅牢なネットワーク設計を可能にする。
LDL^\top$の定式化は、SDPベースのネットワークの厳密な緩和であり、完全な表現性を維持し、121 UCIデータセット上のSLL層に対して3\%-13\%の精度向上を達成する。
関連論文リスト
- A Scalable Approach for Safe and Robust Learning via Lipschitz-Constrained Networks [2.8960888722909566]
ニューラルネットワーク(NN)に対するリプシッツ制約付きグローバルトレーニング制約を提案する。
提案手法により,リプシッツ制約NNの定式化が大幅に改善できることが示唆された。
論文 参考訳（メタデータ） (2025-06-30T15:42:23Z) - L-Lipschitz Gershgorin ResNet Network [0.0]
本稿では,$mathcalL$-Lipschitzディープ残差ネットワークの設計に厳密なアプローチを用いる。
ResNetアーキテクチャは、非対角要素を持つ擬似三対角LMIとして再設計された。
そのような行列構造に対する明示的な固有値計算の欠如に対処するために、ガーシュゴリン円定理が採用された。
論文 参考訳（メタデータ） (2025-02-28T17:57:57Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文 参考訳（メタデータ） (2022-10-04T17:55:27Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。
特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。
摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
論文 参考訳（メタデータ） (2022-03-07T02:09:39Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。