論文の概要: DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation
- arxiv url: http://arxiv.org/abs/2211.11186v1
- Date: Mon, 21 Nov 2022 05:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:14:45.421771
- Title: DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation
- Title(参考訳): dualapp: ニューラルネットワークのロバスト性検証のための厳密な近似
- Authors: Yiting Wu, Zhaodi Zhang, Zhiyi Xue, Si Liu, Min Zhang
- Abstract要約: 本稿では,厳密なオーバー近似と2つの補足的アンダー近似アルゴリズムを定義するための新しいアンダー近似誘導手法を提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
我々は、DualAppと呼ばれるツールにアプローチを実装し、収集およびトレーニングされたニューラルネットワーク84のベンチマークでそれを広範囲に評価する。
- 参考スコア(独自算出の注目度): 17.924507519230424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of neural networks is fundamental to the hosting system's
reliability and security. Formal verification has been proven to be effective
in providing provable robustness guarantees. To improve the verification
scalability, over-approximating the non-linear activation functions in neural
networks by linear constraints is widely adopted, which transforms the
verification problem into an efficiently solvable linear programming problem.
As over-approximations inevitably introduce overestimation, many efforts have
been dedicated to defining the tightest possible approximations. Recent studies
have however showed that the existing so-called tightest approximations are
superior to each other. In this paper we identify and report an crucial factor
in defining tight approximations, namely the approximation domains of
activation functions. We observe that existing approaches only rely on
overestimated domains, while the corresponding tight approximation may not
necessarily be tight on its actual domain. We propose a novel
under-approximation-guided approach, called dual-approximation, to define tight
over-approximations and two complementary under-approximation algorithms based
on sampling and gradient descent. The overestimated domain guarantees the
soundness while the underestimated one guides the tightness. We implement our
approach into a tool called DualApp and extensively evaluate it on a
comprehensive benchmark of 84 collected and trained neural networks with
different architectures. The experimental results show that DualApp outperforms
the state-of-the-art approximation-based approaches, with up to 71.22%
improvement to the verification result.
- Abstract(参考訳): ニューラルネットワークの堅牢性は、ホスティングシステムの信頼性とセキュリティの基本である。
形式的検証は証明可能な堅牢性保証を提供する上で有効であることが証明されている。
検証のスケーラビリティを向上させるために、線形制約によるニューラルネットワークの非線形アクティベーション関数の過度な近似が広く採用され、検証問題を効率よく解ける線形プログラミング問題に変換する。
過剰近似が必然的に過大評価をもたらすため、最も厳密な近似の定義に多くの努力が注がれている。
しかし、最近の研究では、既存の最も密接な近似は互いに優れていることが示されている。
本稿では, 活性化関数の近似領域として, 密近似を定義する上で重要な因子を同定し, 報告する。
既存のアプローチは過大評価されたドメインにのみ依存するが、対応する厳密な近似は必ずしも実際のドメインに強く依存するとは限らない。
本稿では,2次近似と呼ばれる新しいアンダー近似手法を提案し,タイトなオーバー近似と,サンプリングと勾配勾配に基づく2つの補足アンダー近似アルゴリズムを提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
このアプローチをdualappというツールに実装し、異なるアーキテクチャを持つ84のニューラルネットワークの総合ベンチマークで広範囲に評価しました。
実験の結果、DualAppは最先端の近似ベースのアプローチよりも優れており、検証結果は最大71.22%改善されている。
関連論文リスト
- A Tale of Two Approximations: Tightening Over-Approximation for DNN
Robustness Verification via Under-Approximation [17.924507519230424]
本稿では、活性化関数の過小評価領域を利用して、過剰近似を厳密に定義する新しい双対近似手法を提案する。
以上の結果から,DualAppは,信頼性の高いロバスト性比が100%から1000%,認証下限が平均10.64%(最大66.53%)で,最先端のアプローチを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-05-26T14:58:30Z) - Contraction-Guided Adaptive Partitioning for Reachability Analysis of
Neural Network Controlled Systems [5.359060261460183]
非線形フィードバックループにおける区間値到達可能集合の推定値を改善するための収縮誘導適応分割アルゴリズムを提案する。
ニューラルネットワーク検証ステップとリーチビリティパーティショニングレイヤの分離を活用することで、アルゴリズムは計算コストの少ない精度の向上を提供することができる。
本稿では,現状の手法と比較して,ランタイムのごく一部において,到達可能な集合推定の精度が大幅に向上したことを報告する。
論文 参考訳(メタデータ) (2023-04-07T14:43:21Z) - Provably Tightest Linear Approximation for Robustness Verification of
Sigmoid-like Neural Networks [22.239149433169747]
ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠である。
非線形性のため、Sigmoidのようなニューラルネットワークは広範囲のアプリケーションで採用されている。
論文 参考訳(メタデータ) (2022-08-21T12:07:36Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Complete Verification via Multi-Neuron Relaxation Guided
Branch-and-Bound [2.896192909215469]
両パラダイムの強みを組み合わせた新しい完全検証器を提案する。
BaBプロセス中に生成されるサブプロブレムの数を劇的に減少させるために、マルチニューロン緩和を用いる。
評価の結果,既存のベンチマークと,従来考えられていたよりもはるかに高い精度のネットワークにおいて,検証が新たな最先端性を達成できることが確認された。
論文 参考訳(メタデータ) (2022-04-30T13:12:33Z) - Real-time landmark detection for precise endoscopic submucosal
dissection via shape-aware relation network [51.44506007844284]
内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。
まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。
次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
論文 参考訳(メタデータ) (2021-11-08T07:57:30Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2020-12-10T23:28:36Z) - Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。
ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。
本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文 参考訳(メタデータ) (2020-10-07T08:19:48Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳(メタデータ) (2020-06-16T10:00:33Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。