論文の概要: Provably Tightest Linear Approximation for Robustness Verification of
Sigmoid-like Neural Networks
- arxiv url: http://arxiv.org/abs/2208.09872v1
- Date: Sun, 21 Aug 2022 12:07:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 14:26:54.074049
- Title: Provably Tightest Linear Approximation for Robustness Verification of
Sigmoid-like Neural Networks
- Title（参考訳）: シグモイド型ニューラルネットワークのロバスト性検証のための最適線形近似
- Authors: Zhaodi Zhang, Yiting Wu, Si Liu, Jing Liu, Min Zhang
- Abstract要約: ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠である。
非線形性のため、Sigmoidのようなニューラルネットワークは広範囲のアプリケーションで採用されている。
- 参考スコア（独自算出の注目度）: 22.239149433169747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of deep neural networks is crucial to modern AI-enabled
systems and should be formally verified. Sigmoid-like neural networks have been
adopted in a wide range of applications. Due to their non-linearity,
Sigmoid-like activation functions are usually over-approximated for efficient
verification, which inevitably introduces imprecision. Considerable efforts
have been devoted to finding the so-called tighter approximations to obtain
more precise verification results. However, existing tightness definitions are
heuristic and lack theoretical foundations. We conduct a thorough empirical
analysis of existing neuron-wise characterizations of tightness and reveal that
they are superior only on specific neural networks. We then introduce the
notion of network-wise tightness as a unified tightness definition and show
that computing network-wise tightness is a complex non-convex optimization
problem. We bypass the complexity from different perspectives via two
efficient, provably tightest approximations. The results demonstrate the
promising performance achievement of our approaches over state of the art: (i)
achieving up to 251.28% improvement to certified lower robustness bounds; and
(ii) exhibiting notably more precise verification results on convolutional
networks.
- Abstract（参考訳）: ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠であり、正式に検証されるべきである。
sigmoidライクなニューラルネットワークは、幅広い応用に採用されている。
非線型性のため、シグモイド様の活性化関数は通常効率のよい検証のために過剰に近似される。
より正確な検証結果を得るためには、いわゆるより厳密な近似を求める努力が注がれている。
しかし、既存の厳密性の定義はヒューリスティックであり、理論的基礎が欠けている。
我々は、既存の神経細胞のタイトネス特性を徹底的に解析し、特定のニューラルネットワークでのみ優れていることを明らかにする。
次に,ネットワーク間密性の概念を統一的密性定義として導入し,ネットワーク間密性計算が複雑な非凸最適化問題であることを示す。
複雑さを異なる視点から2つの効率的かつ証明可能な最も厳密な近似によってバイパスする。
結果は、最先端技術に対する我々のアプローチの有望な業績を示しています。
(i)認定低ロバスト性限度に対する最大251.28%の改善を達成すること、及び
(ii)畳み込みネットワーク上でより正確な検証結果を示す。
関連論文リスト
- Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation [17.924507519230424]
本稿では,厳密なオーバー近似と2つの補足的アンダー近似アルゴリズムを定義するための新しいアンダー近似誘導手法を提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
我々は、DualAppと呼ばれるツールにアプローチを実装し、収集およびトレーニングされたニューラルネットワーク84のベンチマークでそれを広範囲に評価する。
論文 参考訳（メタデータ） (2022-11-21T05:09:34Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。
量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
論文 参考訳（メタデータ） (2020-12-15T10:05:37Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳（メタデータ） (2020-11-03T17:20:43Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳（メタデータ） (2020-10-03T04:46:17Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳（メタデータ） (2020-06-16T10:00:33Z) - ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
我々は2つの密接に関連するネットワークの差分検証法を開発した。
我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。
実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
論文 参考訳（メタデータ） (2020-01-10T20:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。