論文の概要: Tightened Convex Relaxations for Neural Network Robustness Certification
- arxiv url: http://arxiv.org/abs/2004.00570v2
- Date: Fri, 18 Sep 2020 00:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 18:28:04.917586
- Title: Tightened Convex Relaxations for Neural Network Robustness Certification
- Title(参考訳): ニューラルネットワークのロバスト性認定のための密閉凸緩和
- Authors: Brendon G. Anderson, Ziye Ma, Jingqi Li, Somayeh Sojoudi
- Abstract要約: 我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
- 参考スコア(独自算出の注目度): 10.68833097448566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the problem of certifying the robustness of neural
networks to perturbed and adversarial input data. Such certification is
imperative for the application of neural networks in safety-critical
decision-making and control systems. Certification techniques using convex
optimization have been proposed, but they often suffer from relaxation errors
that void the certificate. Our work exploits the structure of ReLU networks to
improve relaxation errors through a novel partition-based certification
procedure. The proposed method is proven to tighten existing linear programming
relaxations, and asymptotically achieves zero relaxation error as the partition
is made finer. We develop a finite partition that attains zero relaxation error
and use the result to derive a tractable partitioning scheme that minimizes the
worst-case relaxation error. Experiments using real data show that the
partitioning procedure is able to issue robustness certificates in cases where
prior methods fail. Consequently, partition-based certification procedures are
found to provide an intuitive, effective, and theoretically justified method
for tightening existing convex relaxation techniques.
- Abstract(参考訳): 本稿では,摂動入力データに対するニューラルネットワークの堅牢性を検証することの問題点について考察する。
このような認定は、安全クリティカルな意思決定および制御システムにおけるニューラルネットワークの適用に不可欠である。
凸最適化を用いた認証技術が提案されているが、しばしば証明書を無効にする緩和誤差に悩まされる。
本研究では,ReLUネットワークの構造を利用して,新しい分割型認証手法により緩和誤差を改善する。
提案手法は,既存の線形計画の緩和を厳しくし,分割を細かくすることで漸近的に緩和誤差をゼロにする。
我々は,リラクゼーション誤差ゼロとなる有限分割法を開発し,その結果を用いて,最悪のリラクゼーション誤差を最小化する可搬分割スキームを導出する。
実データを用いた実験では、パーティショニング手順が以前のメソッドが失敗した場合に堅牢性証明書を発行できることが示されている。
その結果,既存の凸緩和技術を強化するための直感的,効果的,理論的に正当化された方法として,分割ベースの認証手順が得られた。
関連論文リスト
- Overcoming the Paradox of Certified Training with Gaussian Smoothing [14.061189994638667]
敵の例に対して高い精度でニューラルネットワークを訓練することは、未解決の問題である。
ガウスロス平滑化が両問題を緩和できることを理論的に示す。
この結果から,強靭なニューラルネットワークのトレーニングにおいて,ガウスロス平滑化が期待できることが明らかとなった。
論文 参考訳(メタデータ) (2024-03-11T18:44:36Z) - Disparate Impact on Group Accuracy of Linearization for Private Inference [48.27026603581436]
多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。
また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:56:29Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Tight Certification of Adversarially Trained Neural Networks via
Nonconvex Low-Rank Semidefinite Relaxations [12.589519278962378]
本稿では,敵対的ネットワークモデルに対する非認証手法を提案する。
非認証は、より高価なSDPメソッドに匹敵する強力な認証を行う一方で、LPメソッドに匹敵する変数の最適化は劇的に少ない。
実験の結果,非認証が正反対のモデルに対するギャップをほぼ完全に埋めていることが判明した。
論文 参考訳(メタデータ) (2022-11-30T18:46:00Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-08T04:09:13Z) - A Unified View of SDP-based Neural Network Verification through
Completely Positive Programming [27.742278216854714]
完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。
我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
論文 参考訳(メタデータ) (2022-03-06T19:23:09Z) - DeepSplit: Scalable Verification of Deep Neural Networks via Operator
Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。
解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-16T20:43:49Z) - Partition-Based Convex Relaxations for Certifying the Robustness of ReLU
Neural Networks [10.992151305603267]
本論文では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性の証明について検討する。
一般の線形プログラミング (LP) と半定値プログラミング (SDP) の認証手法が抱える緩和誤差を低減させるため,入力の不確実性セットを分割し,各部分の緩和を別々に解決する手法を提案する。
このアプローチはリラクゼーションエラーを低減し、インテリジェントに設計されたパーティションでLPリラクゼーションを実行するとエラーが完全に排除されることを示します。
論文 参考訳(メタデータ) (2021-01-22T19:36:40Z) - Improving the Tightness of Convex Relaxation Bounds for Training
Certifiably Robust Classifiers [72.56180590447835]
凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。
非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
論文 参考訳(メタデータ) (2020-02-22T20:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。