論文の概要: On the Tightness of Semidefinite Relaxations for Certifying Robustness
to Adversarial Examples
- arxiv url: http://arxiv.org/abs/2006.06759v2
- Date: Mon, 26 Oct 2020 23:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 13:13:35.906470
- Title: On the Tightness of Semidefinite Relaxations for Certifying Robustness
to Adversarial Examples
- Title（参考訳）: 逆例に対するロバスト性証明のための半定緩和の密着性について
- Authors: Richard Y. Zhang
- Abstract要約: 対向的な例に対するニューラルネットワークは、凸緩和を解くことで証明可能とすることができる。
緩和が緩い場合、結果として得られる証明書は保守的すぎるため、実用上有用である。
近年、ReLULUの半定幾何SDPに基づいて、より保守性の低いロバスト性が提案されている。
- 参考スコア（独自算出の注目度）: 12.589519278962378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of a neural network to adversarial examples can be provably
certified by solving a convex relaxation. If the relaxation is loose, however,
then the resulting certificate can be too conservative to be practically
useful. Recently, a less conservative robustness certificate was proposed,
based on a semidefinite programming (SDP) relaxation of the ReLU activation
function. In this paper, we describe a geometric technique that determines
whether this SDP certificate is exact, meaning whether it provides both a
lower-bound on the size of the smallest adversarial perturbation, as well as a
globally optimal perturbation that attains the lower-bound. Concretely, we
show, for a least-squares restriction of the usual adversarial attack problem,
that the SDP relaxation amounts to the nonconvex projection of a point onto a
hyperbola. The resulting SDP certificate is exact if and only if the projection
of the point lies on the major axis of the hyperbola. Using this geometric
technique, we prove that the certificate is exact over a single hidden layer
under mild assumptions, and explain why it is usually conservative for several
hidden layers. We experimentally confirm our theoretical insights using a
general-purpose interior-point method and a custom rank-2 Burer-Monteiro
algorithm.
- Abstract（参考訳）: 対向的な例に対するニューラルネットワークの堅牢性は凸緩和を解くことで証明可能である。
しかし、緩和が緩い場合、結果の証明書は保守的すぎて実用的ではない可能性がある。
近年,ReLUアクティベーション関数の半有限プログラミング(SDP)緩和に基づく,より保守的なロバスト性証明が提案されている。
本稿では,このSDP証明書が正当であるか否かを判断する幾何学的手法について述べる。
具体的には、通常の対向攻撃問題の最小二乗制限に対して、SDP緩和は、高ボラへの点の非凸投影に等しいことを示す。
結果として得られるSDP証明書は、その点の射影が双曲線の主軸にある場合に限り正確である。
この幾何的手法を用いて、この証明が穏やかな仮定の下で単一の隠蔽層上で正確であることを証明し、通常、複数の隠蔽層に対して保守的である理由を説明する。
汎用インテリアポイント法とカスタムランク2Burer-Monteiroアルゴリズムを用いて理論的知見を実験的に検証した。
関連論文リスト
- Generalised Likelihood Ratio Testing Adversaries through the
Differential Privacy Lens [69.10072367807095]
微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。
我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。
この緩やかな緩和は、プライバシー保証の改善につながる。
論文 参考訳（メタデータ） (2022-10-24T08:24:10Z) - Sample Complexity of Nonparametric Off-Policy Evaluation on
Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。
ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
論文 参考訳（メタデータ） (2022-06-06T20:25:20Z) - Towards Evading the Limits of Randomized Smoothing: A Theoretical
Analysis [74.85187027051879]
決定境界を複数の雑音分布で探索することにより,任意の精度で最適な証明を近似できることを示す。
この結果は、分類器固有の認証に関するさらなる研究を後押しし、ランダム化された平滑化が依然として調査に値することを示す。
論文 参考訳（メタデータ） (2022-06-03T17:48:54Z) - Certifiable Outlier-Robust Geometric Perception: Exact Semidefinite
Relaxations and Scalable Global Optimization [29.738513596063946]
本稿では,外接点の存在下でのロバストな幾何学的知覚のためのアルゴリズム設計のための,最初の汎用フレームワークを提案する。
我々の実験では、SDP緩和はアプリケーション間で最大で外れ率で正確であることを実証した。
論文 参考訳（メタデータ） (2021-09-07T21:42:16Z) - Towards Optimal Branching of Linear and Semidefinite Relaxations for Neural Network Robustness Certification [10.349616734896522]
本研究では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性を検証する。
入力不確実性集合を分割し,各部分の緩和を個別に解くために,分岐とバウンドのアプローチをとる。
提案手法は緩和誤差を低減し,ReLUアクティベーションの性質を活かしたパーティションを用いてLP緩和を行うことによって完全に誤差を除去することを示す。
論文 参考訳（メタデータ） (2021-01-22T19:36:40Z) - Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。
この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
論文 参考訳（メタデータ） (2020-10-20T18:03:45Z) - One Ring to Rule Them All: Certifiably Robust Geometric Perception with
Outliers [32.1176248075545]
本稿では,大量の外れ値が存在する場合の認識のための認証アルゴリズムを設計するための,最初の汎用的かつ実用的な手法を提案する。
我々の双対証明器は任意の問題の解の最適部分最適性を利用する。
論文 参考訳（メタデータ） (2020-06-11T19:46:42Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。
有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。
これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文 参考訳（メタデータ） (2020-06-06T09:36:07Z) - Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。
認証精度は5.78%,44.96%,43.19%であった。
論文 参考訳（メタデータ） (2020-06-01T05:55:18Z) - Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
論文 参考訳（メタデータ） (2020-04-01T16:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。