論文の概要: DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation
- arxiv url: http://arxiv.org/abs/2211.11186v1
- Date: Mon, 21 Nov 2022 05:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:14:45.421771
- Title: DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation
- Title（参考訳）: dualapp: ニューラルネットワークのロバスト性検証のための厳密な近似
- Authors: Yiting Wu, Zhaodi Zhang, Zhiyi Xue, Si Liu, Min Zhang
- Abstract要約: 本稿では,厳密なオーバー近似と2つの補足的アンダー近似アルゴリズムを定義するための新しいアンダー近似誘導手法を提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
我々は、DualAppと呼ばれるツールにアプローチを実装し、収集およびトレーニングされたニューラルネットワーク84のベンチマークでそれを広範囲に評価する。
- 参考スコア（独自算出の注目度）: 17.924507519230424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robustness of neural networks is fundamental to the hosting system's
reliability and security. Formal verification has been proven to be effective
in providing provable robustness guarantees. To improve the verification
scalability, over-approximating the non-linear activation functions in neural
networks by linear constraints is widely adopted, which transforms the
verification problem into an efficiently solvable linear programming problem.
As over-approximations inevitably introduce overestimation, many efforts have
been dedicated to defining the tightest possible approximations. Recent studies
have however showed that the existing so-called tightest approximations are
superior to each other. In this paper we identify and report an crucial factor
in defining tight approximations, namely the approximation domains of
activation functions. We observe that existing approaches only rely on
overestimated domains, while the corresponding tight approximation may not
necessarily be tight on its actual domain. We propose a novel
under-approximation-guided approach, called dual-approximation, to define tight
over-approximations and two complementary under-approximation algorithms based
on sampling and gradient descent. The overestimated domain guarantees the
soundness while the underestimated one guides the tightness. We implement our
approach into a tool called DualApp and extensively evaluate it on a
comprehensive benchmark of 84 collected and trained neural networks with
different architectures. The experimental results show that DualApp outperforms
the state-of-the-art approximation-based approaches, with up to 71.22%
improvement to the verification result.
- Abstract（参考訳）: ニューラルネットワークの堅牢性は、ホスティングシステムの信頼性とセキュリティの基本である。
形式的検証は証明可能な堅牢性保証を提供する上で有効であることが証明されている。
検証のスケーラビリティを向上させるために、線形制約によるニューラルネットワークの非線形アクティベーション関数の過度な近似が広く採用され、検証問題を効率よく解ける線形プログラミング問題に変換する。
過剰近似が必然的に過大評価をもたらすため、最も厳密な近似の定義に多くの努力が注がれている。
しかし、最近の研究では、既存の最も密接な近似は互いに優れていることが示されている。
本稿では, 活性化関数の近似領域として, 密近似を定義する上で重要な因子を同定し, 報告する。
既存のアプローチは過大評価されたドメインにのみ依存するが、対応する厳密な近似は必ずしも実際のドメインに強く依存するとは限らない。
本稿では,2次近似と呼ばれる新しいアンダー近似手法を提案し,タイトなオーバー近似と,サンプリングと勾配勾配に基づく2つの補足アンダー近似アルゴリズムを提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
このアプローチをdualappというツールに実装し、異なるアーキテクチャを持つ84のニューラルネットワークの総合ベンチマークで広範囲に評価しました。
実験の結果、DualAppは最先端の近似ベースのアプローチよりも優れており、検証結果は最大71.22%改善されている。
関連論文リスト
- Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。
本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。
具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
論文 参考訳（メタデータ） (2024-06-14T16:16:26Z) - Bridging the Gap Between End-to-End and Two-Step Text Spotting [88.14552991115207]
ブリッジングテキストスポッティングは、2段階のメソッドでエラーの蓄積と最適化性能の問題を解決する新しいアプローチである。
提案手法の有効性を広範囲な実験により実証する。
論文 参考訳（メタデータ） (2024-04-06T13:14:04Z) - Enabling Uncertainty Estimation in Iterative Neural Networks [49.56171792062104]
本研究では,アンサンブルのような手法よりもはるかに低い計算コストで最先端の見積もりを提供する不確実性推定手法を開発する。
航空画像における道路検出と2次元および3次元形状の空力特性の推定という2つの応用領域に組み込むことで,その実用的価値を実証する。
論文 参考訳（メタデータ） (2024-03-25T13:06:31Z) - A Tale of Two Approximations: Tightening Over-Approximation for DNN
Robustness Verification via Under-Approximation [17.924507519230424]
本稿では、活性化関数の過小評価領域を利用して、過剰近似を厳密に定義する新しい双対近似手法を提案する。
以上の結果から,DualAppは,信頼性の高いロバスト性比が100%から1000%,認証下限が平均10.64%(最大66.53%)で,最先端のアプローチを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2023-05-26T14:58:30Z) - Provably Tightest Linear Approximation for Robustness Verification of
Sigmoid-like Neural Networks [22.239149433169747]
ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠である。
非線形性のため、Sigmoidのようなニューラルネットワークは広範囲のアプリケーションで採用されている。
論文 参考訳（メタデータ） (2022-08-21T12:07:36Z) - Complete Verification via Multi-Neuron Relaxation Guided
Branch-and-Bound [2.896192909215469]
両パラダイムの強みを組み合わせた新しい完全検証器を提案する。
BaBプロセス中に生成されるサブプロブレムの数を劇的に減少させるために、マルチニューロン緩和を用いる。
評価の結果,既存のベンチマークと,従来考えられていたよりもはるかに高い精度のネットワークにおいて,検証が新たな最先端性を達成できることが確認された。
論文 参考訳（メタデータ） (2022-04-30T13:12:33Z) - Real-time landmark detection for precise endoscopic submucosal
dissection via shape-aware relation network [51.44506007844284]
内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。
まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。
次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
論文 参考訳（メタデータ） (2021-11-08T07:57:30Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z) - Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。
ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。
本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文 参考訳（メタデータ） (2020-10-07T08:19:48Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳（メタデータ） (2020-06-16T10:00:33Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳（メタデータ） (2020-06-12T00:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。