論文の概要: Direct Parameterization of Lipschitz-Bounded Deep Networks

• arxiv url: http://arxiv.org/abs/2301.11526v3
• Date: Tue, 6 Jun 2023 02:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:54:30.023204
• Title: Direct Parameterization of Lipschitz-Bounded Deep Networks
• Title（参考訳）: リプシッツ境界深部ネットワークの直接パラメータ化
• Authors: Ruigang Wang, Ian R. Manchester
• Abstract要約: 本稿では,深部ニューラルネットワーク(完全接続および畳み込みの両方)の新たなパラメータ化を提案する。 リプシッツ保証は半確定プログラム(SDP)による認証に基づく最も厳密な既知の境界と等価である 直接のパラメータ化、すなわち$mathbb RN$ から SDP ベースの境界を満たす重みの集合への滑らかな写像を提供する。
• 参考スコア（独自算出の注目度）: 3.883460584034766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a new parameterization of deep neural networks (both fully-connected and convolutional) with guaranteed $\ell^2$ Lipschitz bounds, i.e. limited sensitivity to input perturbations. The Lipschitz guarantees are equivalent to the tightest-known bounds based on certification via a semidefinite program (SDP). We provide a ``direct'' parameterization, i.e., a smooth mapping from $\mathbb R^N$ onto the set of weights satisfying the SDP-based bound. Moreover, our parameterization is complete, i.e. a neural network satisfies the SDP bound if and only if it can be represented via our parameterization. This enables training using standard gradient methods, without any inner approximation or computationally intensive tasks (e.g. projections or barrier terms) for the SDP constraint. The new parameterization can equivalently be thought of as either a new layer type (the \textit{sandwich layer}), or a novel parameterization of standard feedforward networks with parameter sharing between neighbouring layers. A comprehensive set of experiments on image classification shows that sandwich layers outperform previous approaches on both empirical and certified robust accuracy. Code is available at \url{https://github.com/acfr/LBDN}.
• Abstract（参考訳）: 本稿では,$\ell^2$リプシッツ境界を保証し,入力摂動に対する感度を制限した深層ニューラルネットワーク(完全連結と畳み込みの両方)のパラメータ化を提案する。 リプシッツ保証は半確定プログラム(SDP)による認証に基づく最も厳密な既知の境界と等価である。 我々は ``direct'' パラメータ化、すなわち、$\mathbb r^n$ から sdp ベースの境界を満たす重みの集合への滑らかなマッピングを提供する。 さらに、パラメータ化が完了し、すなわち、ニューラルネットワークがSDP境界を満たすことは、それがパラメータ化によって表現できる場合に限る。 これにより、SDP制約に対する内部近似や計算集約的なタスク(例えば、投影や障壁項)を使わずに、標準勾配法を用いて訓練することができる。 新しいパラメータ化は、新しい層タイプ( \textit{sandwich layer} )や、近隣層間のパラメータ共有を伴う標準フィードフォワードネットワークの新しいパラメータ化のいずれかと考えることができる。 画像分類に関する総合的な実験により、サンドイッチ層は経験的および証明された堅牢な精度において、以前のアプローチよりも優れていることが示された。 コードは \url{https://github.com/acfr/LBDN} で入手できる。

関連論文リスト

• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)
• LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
  本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。 提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。 提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:20:14Z)
• Approximation Results for Gradient Descent trained Neural Networks [0.0]
  ネットワークは完全に接続された一定の深さ増加幅である。 連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
  論文  参考訳（メタデータ） (2023-09-09T18:47:55Z)
• DP-SGD Without Clipping: The Lipschitz Neural Network Way [5.922390405022253]
  ディファレンシャル・プライベート(DP)ディープ・ニューラル・ニューラルネットワーク(DNN)の訓練 パラメータに関して各レイヤのリプシッツ定数をバウンドすることで、これらのネットワークをプライバシ保証でトレーニングできることを証明します。 我々の分析では、上記の感性度を大規模に計算できるだけでなく、固定されたプライバシー保証のための勾配-雑音比を最大化するためのガイダンスも提供しています。
  論文  参考訳（メタデータ） (2023-05-25T16:05:46Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• On the infinite width limit of neural networks with a standard parameterization [52.07828272324366]
  幅が無限大になるにつれて、これらの特性を全て保存する標準パラメータ化の補間の改善を提案する。 実験により,結果のカーネルはNTKパラメータ化の結果とよく似た精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-01-21T01:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。