論文の概要: Second-Order Provable Defenses against Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2006.00731v1
• Date: Mon, 1 Jun 2020 05:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 06:03:49.367208
• Title: Second-Order Provable Defenses against Adversarial Attacks
• Title（参考訳）: 敵攻撃に対する第2次防衛
• Authors: Sahil Singla, Soheil Feizi
• Abstract要約: ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
• 参考スコア（独自算出の注目度）: 63.34032156196848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A robustness certificate is the minimum distance of a given input to the decision boundary of the classifier (or its lower bound). For {\it any} input perturbations with a magnitude smaller than the certificate value, the classification output will provably remain unchanged. Exactly computing the robustness certificates for neural networks is difficult since it requires solving a non-convex optimization. In this paper, we provide computationally-efficient robustness certificates for neural networks with differentiable activation functions in two steps. First, we show that if the eigenvalues of the Hessian of the network are bounded, we can compute a robustness certificate in the $l_2$ norm efficiently using convex optimization. Second, we derive a computationally-efficient differentiable upper bound on the curvature of a deep network. We also use the curvature bound as a regularization term during the training of the network to boost its certified robustness. Putting these results together leads to our proposed {\bf C}urvature-based {\bf R}obustness {\bf C}ertificate (CRC) and {\bf C}urvature-based {\bf R}obust {\bf T}raining (CRT). Our numerical results show that CRT leads to significantly higher certified robust accuracy compared to interval-bound propagation (IBP) based training. We achieve certified robust accuracy 69.79\%, 57.78\% and 53.19\% while IBP-based methods achieve 44.96\%, 44.74\% and 44.66\% on 2,3 and 4 layer networks respectively on the MNIST-dataset.
• Abstract（参考訳）: 堅牢性証明は、与えられた入力から分類器(またはその下限)の判定境界までの最小距離である。 証明書値よりも桁違いに小さい入力摂動に対して、分類出力は確実に変化しない。 非凸最適化を解く必要があるため、ニューラルネットワークの堅牢性証明を正確に計算することは難しい。 本稿では,2段階の異なる活性化関数を持つニューラルネットワークに対して,計算効率のよいロバスト性証明を提供する。 まず、ネットワークのHessianの固有値が有界であれば、凸最適化を用いて、$l_2$ノルムのロバスト性証明を効率的に計算できることを示す。 第二に、深層ネットワークの曲率に計算効率の良い微分可能上界を導出する。 また,ネットワークのトレーニング中の正規化用語として曲率バウンドを用いて,認証されたロバスト性を高める。 これらの結果をまとめると、提案した {\bf C}urvature-based {\bf R}obustness {\bf C}ertificate (CRC) と {\bf C}urvature-based {\bf R}obust {\bf T}raining (CRT) が導かれる。 その結果,crtはインターバルバウンド伝播 (ibp) に基づくトレーニングよりも高い精度を保証できることがわかった。 認証されたロバスト精度は69.79\%, 57.78\%, 53.19\%, ibpベースでは44.96\%, 44.74\%, 44.66\%であった。

関連論文リスト

• Towards General Robustness Verification of MaxPool-based Convolutional Neural Networks via Tightening Linear Approximation [51.235583545740674]
  MaxLinは、線形近似が厳密なMaxPoolベースのCNNの堅牢性検証器である。 我々は、MNIST、CIFAR-10、Tiny ImageNetデータセットでトレーニングされたLeNetやネットワークを含むオープンソースのベンチマークでMaxLinを評価した。
  論文  参考訳（メタデータ） (2024-06-02T10:33:04Z)
• Certifying Robustness of Convolutional Neural Networks with Tight Linear Approximation [5.678314425261842]
  Ti-Linは、コナールニューラルネットワークのロバスト性検証のためのタイト線形近似手法である。 本稿では,S字型アクティベーション関数に対する新しい線形制約を提案する。 MNIST、CIFAR-10、Tiny ImageNetデータセットで訓練された48種類のCNNで評価した。
  論文  参考訳（メタデータ） (2022-11-13T08:37:13Z)
• LOT: Layer-wise Orthogonal Training on Improving $\ell_2$ Certified Robustness [14.206377940235091]
  近年の研究では、リプシッツ制約によるディープニューラルネットワーク(DNN)のトレーニングは、対向的ロバスト性や安定性などのモデル特性を高めることができることが示されている。 本研究では,1-Lipschitz畳み込み層を効果的に学習するための層ワイド直交訓練法(LOT)を提案する。 LOTは、決定論的l2証明されたロバスト性に関して、ベースラインを著しく上回り、より深いニューラルネットワークにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-10-20T22:31:26Z)
• Smooth-Reduce: Leveraging Patches for Improved Certified Robustness [100.28947222215463]
  本研究では,Smooth-Reduce の学習自由な修正スムース化手法を提案する。 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径が大きいことを証明する。 我々は,このような証明書の理論的保証を提供し,他のランダムな平滑化手法に対する顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-12T15:26:20Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。