論文の概要: Tight Certification of Adversarially Trained Neural Networks via
Nonconvex Low-Rank Semidefinite Relaxations
- arxiv url: http://arxiv.org/abs/2211.17244v3
- Date: Wed, 14 Jun 2023 15:55:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 02:54:26.581506
- Title: Tight Certification of Adversarially Trained Neural Networks via
Nonconvex Low-Rank Semidefinite Relaxations
- Title(参考訳): 非凸低ランク半有限緩和による逆学習ニューラルネットワークのタイト認証
- Authors: Hong-Ming Chiu and Richard Y. Zhang
- Abstract要約: 本稿では,敵対的ネットワークモデルに対する非認証手法を提案する。
非認証は、より高価なSDPメソッドに匹敵する強力な認証を行う一方で、LPメソッドに匹敵する変数の最適化は劇的に少ない。
実験の結果,非認証が正反対のモデルに対するギャップをほぼ完全に埋めていることが判明した。
- 参考スコア(独自算出の注目度): 12.589519278962378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is well-known to produce high-quality neural network
models that are empirically robust against adversarial perturbations.
Nevertheless, once a model has been adversarially trained, one often desires a
certification that the model is truly robust against all future attacks.
Unfortunately, when faced with adversarially trained models, all existing
approaches have significant trouble making certifications that are strong
enough to be practically useful. Linear programming (LP) techniques in
particular face a "convex relaxation barrier" that prevent them from making
high-quality certifications, even after refinement with mixed-integer linear
programming (MILP) and branch-and-bound (BnB) techniques. In this paper, we
propose a nonconvex certification technique, based on a low-rank restriction of
a semidefinite programming (SDP) relaxation. The nonconvex relaxation makes
strong certifications comparable to much more expensive SDP methods, while
optimizing over dramatically fewer variables comparable to much weaker LP
methods. Despite nonconvexity, we show how off-the-shelf local optimization
algorithms can be used to achieve and to certify global optimality in
polynomial time. Our experiments find that the nonconvex relaxation almost
completely closes the gap towards exact certification of adversarially trained
models.
- Abstract(参考訳): adversarial trainingは、adversarial perturbationに対して経験的に堅牢な高品質なニューラルネットワークモデルを作成することでよく知られている。
それでも、一度モデルが逆行訓練を受けたら、モデルが将来の攻撃に対して真に堅牢であることを証明したいと願うことが多い。
残念なことに、敵対的に訓練されたモデルに直面した場合、既存のアプローチはすべて、実用的に使えるほど強力な認証を作成するのに苦労しています。
特に線形プログラミング(LP)技術は「凸緩和障壁」(convex relaxation barrier)に直面しており、混合整数線形プログラミング(MILP)と分岐およびバウンド(BnB)技術で洗練されても高品質な認証を行うことができない。
本稿では,半定値プログラミング(SDP)緩和の低ランク制約に基づく非凸認証手法を提案する。
非凸緩和により、より高価なSDPメソッドに匹敵する強力な認証が得られ、より弱いLPメソッドに匹敵する、劇的に少ない変数を最適化する。
非凸性にもかかわらず、既製の局所最適化アルゴリズムが多項式時間における大域的最適性の実現と証明にどのように役立つかを示す。
実験の結果,非凸緩和は正反対に訓練されたモデルの正確な認証に対するギャップをほぼ完全に埋めることがわかった。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。
スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
論文 参考訳(メタデータ) (2023-06-26T09:42:59Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳(メタデータ) (2022-06-15T22:42:29Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Certifying Out-of-Domain Generalization for Blackbox Functions [20.997611019445657]
本稿では,2つの分布の平均距離と分散距離を限定した新しい認証フレームワークを提案する。
我々は、ImageNetを含む複数のデータセットに対して、認証手法を実験的に検証した。
論文 参考訳(メタデータ) (2022-02-03T16:47:50Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳(メタデータ) (2020-12-22T00:45:24Z) - Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。
双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
論文 参考訳(メタデータ) (2020-10-21T13:22:25Z) - Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
論文 参考訳(メタデータ) (2020-04-01T16:59:21Z) - Regularized Training and Tight Certification for Randomized Smoothed
Classifier with Provable Robustness [15.38718018477333]
我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。
また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-02-17T20:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。