論文の概要: L-Lipschitz Gershgorin ResNet Network

• arxiv url: http://arxiv.org/abs/2502.21279v1
• Date: Fri, 28 Feb 2025 17:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:19.123314
• Title: L-Lipschitz Gershgorin ResNet Network
• Title（参考訳）: L-Lipschitz Gershgorin ResNet Network
• Authors: Marius F. R. Juston, William R. Norris, Dustin Nottage, Ahmet Soylemezoglu,
• Abstract要約: 本稿では,$mathcalL$-Lipschitzディープ残差ネットワークの設計に厳密なアプローチを用いる。 ResNetアーキテクチャは、非対角要素を持つ擬似三対角LMIとして再設計された。 そのような行列構造に対する明示的な固有値計算の欠如に対処するために、ガーシュゴリン円定理が採用された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep residual networks (ResNets) have demonstrated outstanding success in computer vision tasks, attributed to their ability to maintain gradient flow through deep architectures. Simultaneously, controlling the Lipschitz bound in neural networks has emerged as an essential area of research for enhancing adversarial robustness and network certifiability. This paper uses a rigorous approach to design $\mathcal{L}$-Lipschitz deep residual networks using a Linear Matrix Inequality (LMI) framework. The ResNet architecture was reformulated as a pseudo-tri-diagonal LMI with off-diagonal elements and derived closed-form constraints on network parameters to ensure $\mathcal{L}$-Lipschitz continuity. To address the lack of explicit eigenvalue computations for such matrix structures, the Gershgorin circle theorem was employed to approximate eigenvalue locations, guaranteeing the LMI's negative semi-definiteness. Our contributions include a provable parameterization methodology for constructing Lipschitz-constrained networks and a compositional framework for managing recursive systems within hierarchical architectures. These findings enable robust network designs applicable to adversarial robustness, certified training, and control systems. However, a limitation was identified in the Gershgorin-based approximations, which over-constrain the system, suppressing non-linear dynamics and diminishing the network's expressive capacity.
• Abstract（参考訳）: ディープ残差ネットワーク(ResNets)は、ディープアーキテクチャを通して勾配流を維持する能力によって、コンピュータビジョンタスクにおいて顕著な成功を収めた。 同時に、ニューラルネットワークにおけるリプシッツ境界の制御は、敵の堅牢性とネットワークのセルティフィビリティを高めるために重要な研究領域として浮上している。 本稿では,線形行列不等式(LMI)フレームワークを用いた$\mathcal{L}$-Lipschitzディープ残差ネットワークの設計に厳密なアプローチを用いる。 ResNetアーキテクチャは、$\mathcal{L}$-Lipschitz連続性を保証するために、オフ対角要素とネットワークパラメータの閉形式制約を導出した擬三対角LMIとして再構成された。 このような行列構造に対する明示的な固有値計算の欠如に対処するため、ガーシュゴリンの円定理は、LMIの負半定値性を保証するために、固有値位置を近似するために用いられた。 我々の貢献には、リプシッツ制約ネットワークを構築するための証明可能なパラメータ化手法と、階層アーキテクチャ内で再帰的なシステムを管理するための構成フレームワークが含まれる。 これらの知見は、敵の堅牢性、認定トレーニング、制御システムに適用可能な堅牢なネットワーク設計を可能にする。 しかし、Gershgorinをベースとした近似では、システムの過剰な制約、非線形ダイナミクスの抑制、ネットワークの表現能力の低下といった制限が特定された。

関連論文リスト

• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Deep Linear Networks for Matrix Completion -- An Infinite Depth Limit [10.64241024049424]
  深層線形ネットワーク (DLN) は、過度にパラメータ化された学習アーキテクチャの勾配に基づく最適化における暗黙の正規化のためのモデルである。 厳密な解析と数値による行列完成のための幾何幾何学とトレーニングの関連について検討する。 暗黙の正則化は高状態空間体積に対する偏りの結果である。
  論文  参考訳（メタデータ） (2022-10-22T17:03:10Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
  我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。 特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。 摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
  論文  参考訳（メタデータ） (2022-03-07T02:09:39Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
  勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。 我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
  論文  参考訳（メタデータ） (2020-03-11T20:14:47Z)
• Automatic Perturbation Analysis for Scalable Certified Robustness and Beyond [171.07853346630057]
  ニューラルネットワークに対する線形緩和に基づく摂動解析(LiRPA)は、堅牢性検証と認証防御のコアコンポーネントとなっている。 我々は任意のニューラルネットワーク構造上で摂動解析を可能にするための自動フレームワークを開発する。 我々は、Tiny ImageNetとDownscaled ImageNetのLiRPAベースの認証防御を実証する。
  論文  参考訳（メタデータ） (2020-02-28T18:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。