論文の概要: Tight Certification of Adversarially Trained Neural Networks via
Nonconvex Low-Rank Semidefinite Relaxations
- arxiv url: http://arxiv.org/abs/2211.17244v3
- Date: Wed, 14 Jun 2023 15:55:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 02:54:26.581506
- Title: Tight Certification of Adversarially Trained Neural Networks via
Nonconvex Low-Rank Semidefinite Relaxations
- Title（参考訳）: 非凸低ランク半有限緩和による逆学習ニューラルネットワークのタイト認証
- Authors: Hong-Ming Chiu and Richard Y. Zhang
- Abstract要約: 本稿では,敵対的ネットワークモデルに対する非認証手法を提案する。
非認証は、より高価なSDPメソッドに匹敵する強力な認証を行う一方で、LPメソッドに匹敵する変数の最適化は劇的に少ない。
実験の結果,非認証が正反対のモデルに対するギャップをほぼ完全に埋めていることが判明した。
- 参考スコア（独自算出の注目度）: 12.589519278962378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is well-known to produce high-quality neural network
models that are empirically robust against adversarial perturbations.
Nevertheless, once a model has been adversarially trained, one often desires a
certification that the model is truly robust against all future attacks.
Unfortunately, when faced with adversarially trained models, all existing
approaches have significant trouble making certifications that are strong
enough to be practically useful. Linear programming (LP) techniques in
particular face a "convex relaxation barrier" that prevent them from making
high-quality certifications, even after refinement with mixed-integer linear
programming (MILP) and branch-and-bound (BnB) techniques. In this paper, we
propose a nonconvex certification technique, based on a low-rank restriction of
a semidefinite programming (SDP) relaxation. The nonconvex relaxation makes
strong certifications comparable to much more expensive SDP methods, while
optimizing over dramatically fewer variables comparable to much weaker LP
methods. Despite nonconvexity, we show how off-the-shelf local optimization
algorithms can be used to achieve and to certify global optimality in
polynomial time. Our experiments find that the nonconvex relaxation almost
completely closes the gap towards exact certification of adversarially trained
models.
- Abstract（参考訳）: adversarial trainingは、adversarial perturbationに対して経験的に堅牢な高品質なニューラルネットワークモデルを作成することでよく知られている。
それでも、一度モデルが逆行訓練を受けたら、モデルが将来の攻撃に対して真に堅牢であることを証明したいと願うことが多い。
残念なことに、敵対的に訓練されたモデルに直面した場合、既存のアプローチはすべて、実用的に使えるほど強力な認証を作成するのに苦労しています。
特に線形プログラミング(LP)技術は「凸緩和障壁」(convex relaxation barrier)に直面しており、混合整数線形プログラミング(MILP)と分岐およびバウンド(BnB)技術で洗練されても高品質な認証を行うことができない。
本稿では,半定値プログラミング(SDP)緩和の低ランク制約に基づく非凸認証手法を提案する。
非凸緩和により、より高価なSDPメソッドに匹敵する強力な認証が得られ、より弱いLPメソッドに匹敵する、劇的に少ない変数を最適化する。
非凸性にもかかわらず、既製の局所最適化アルゴリズムが多項式時間における大域的最適性の実現と証明にどのように役立つかを示す。
実験の結果,非凸緩和は正反対に訓練されたモデルの正確な認証に対するギャップをほぼ完全に埋めることがわかった。
関連論文リスト
- Towards Certified Unlearning for Deep Neural Networks [50.816473152067104]
認定されていない未学習は、凸機械学習モデルで広く研究されている。
認定アンラーニングとディープニューラルネットワーク(DNN)のギャップを埋める手法をいくつか提案する。
論文 参考訳（メタデータ） (2024-08-01T21:22:10Z) - Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Robust optimization for adversarial learning with finite sample complexity guarantees [1.8434042562191815]
本稿では,線形・非線形な分類問題に着目し,ロバストな分類器に対する新しい逆学習法を提案する。
データ駆動型レンズの下ではロバスト性があり、線形および非線形の分類器の2進および複数クラスシナリオにおける有限標本複雑性境界を導出する。
線形および非線形モデルに対する線形計画法 (LP) と2次コーン計画法 (SOCP) を用いて, 最悪のサロゲート損失を最小限に抑えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-22T13:49:53Z) - Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。
セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。
本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
論文 参考訳（メタデータ） (2024-02-13T11:59:43Z) - GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。
スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
論文 参考訳（メタデータ） (2023-06-26T09:42:59Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。
双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
論文 参考訳（メタデータ） (2020-10-21T13:22:25Z) - Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
論文 参考訳（メタデータ） (2020-04-01T16:59:21Z) - Regularized Training and Tight Certification for Randomized Smoothed
Classifier with Provable Robustness [15.38718018477333]
我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。
また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
論文 参考訳（メタデータ） (2020-02-17T20:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。