論文の概要: Training robust neural networks using Lipschitz bounds

• arxiv url: http://arxiv.org/abs/2005.02929v2
• Date: Tue, 15 Sep 2020 09:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 05:23:03.871185
• Title: Training robust neural networks using Lipschitz bounds
• Title（参考訳）: リプシッツ境界を用いたロバストニューラルネットワークのトレーニング
• Authors: Patricia Pauli, Anne Koch, Julian Berberich, Paul Kohler, Frank Allg\"ower
• Abstract要約: ニューラルネットワーク(NN)は、安全クリティカルなアプリケーションではほとんど使われません。 逆の摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力写像のリプシッツ定数である。 我々は,Lipschitz を一定に小さく保ちながら,強靭性を促進しつつ,多層NN のトレーニングを行うフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their susceptibility to adversarial perturbations, neural networks (NNs) are hardly used in safety-critical applications. One measure of robustness to such perturbations in the input is the Lipschitz constant of the input-output map defined by an NN. In this work, we propose a framework to train multi-layer NNs while at the same time encouraging robustness by keeping their Lipschitz constant small, thus addressing the robustness issue. More specifically, we design an optimization scheme based on the Alternating Direction Method of Multipliers that minimizes not only the training loss of an NN but also its Lipschitz constant resulting in a semidefinite programming based training procedure that promotes robustness. We design two versions of this training procedure. The first one includes a regularizer that penalizes an accurate upper bound on the Lipschitz constant. The second one allows to enforce a desired Lipschitz bound on the NN at all times during training. Finally, we provide two examples to show that the proposed framework successfully increases the robustness of NNs.
• Abstract（参考訳）: 敵の摂動に対する感受性のため、ニューラルネットワーク(NN)は安全クリティカルなアプリケーションではほとんど使われない。 入力におけるそのような摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力マップのリプシッツ定数である。 本研究では,多層nnを訓練する枠組みを提案すると同時に,リプシッツ定数を小さくすることでロバスト性を促進することにより,ロバスト性問題に対処する。 より具体的には、NNのトレーニング損失だけでなく、リプシッツ定数も最小限に抑えたマルチプライヤの交互方向法に基づく最適化スキームを設計し、ロバスト性を促進する半定プログラミングベースのトレーニング手順を提案する。 この訓練手順の2つのバージョンを設計する。 1つ目は、リプシッツ定数の正確な上界を罰する正則化器を含む。 2つ目は、トレーニング中に常にNNに望ましいリプシッツを強制することである。 最後に,提案フレームワークがNNのロバスト性を高めたことを示す2つの例を示す。

関連論文リスト

• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Neural network training under semidefinite constraints [0.0]
  本稿では,ニューラルネットワーク(NN)の半定制約下でのトレーニングについて述べる。 半定値制約は、NNの興味深い特性を検証するのに使うことができる。 実験では,従来の手法よりも訓練方法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-03T13:10:49Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。