論文の概要: A Tale of Two Approximations: Tightening Over-Approximation for DNN Robustness Verification via Under-Approximation

• arxiv url: http://arxiv.org/abs/2305.16998v1
• Date: Fri, 26 May 2023 14:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 14:05:32.190603
• Title: A Tale of Two Approximations: Tightening Over-Approximation for DNN Robustness Verification via Under-Approximation
• Title（参考訳）: 2つの近似の物語:下近似によるDNNロバスト性検証のための過剰近似の強化
• Authors: Zhiyi Xue, Si Liu, Zhaodi Zhang, Yiting Wu, Min Zhang
• Abstract要約: 本稿では、活性化関数の過小評価領域を利用して、過剰近似を厳密に定義する新しい双対近似手法を提案する。 以上の結果から,DualAppは,信頼性の高いロバスト性比が100%から1000%,認証下限が平均10.64%(最大66.53%)で,最先端のアプローチを著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 17.924507519230424
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The robustness of deep neural networks (DNNs) is crucial to the hosting system's reliability and security. Formal verification has been demonstrated to be effective in providing provable robustness guarantees. To improve its scalability, over-approximating the non-linear activation functions in DNNs by linear constraints has been widely adopted, which transforms the verification problem into an efficiently solvable linear programming problem. Many efforts have been dedicated to defining the so-called tightest approximations to reduce overestimation imposed by over-approximation. In this paper, we study existing approaches and identify a dominant factor in defining tight approximation, namely the approximation domain of the activation function. We find out that tight approximations defined on approximation domains may not be as tight as the ones on their actual domains, yet existing approaches all rely only on approximation domains. Based on this observation, we propose a novel dual-approximation approach to tighten over-approximations, leveraging an activation function's underestimated domain to define tight approximation bounds. We implement our approach with two complementary algorithms based respectively on Monte Carlo simulation and gradient descent into a tool called DualApp. We assess it on a comprehensive benchmark of DNNs with different architectures. Our experimental results show that DualApp significantly outperforms the state-of-the-art approaches with 100% - 1000% improvement on the verified robustness ratio and 10.64% on average (up to 66.53%) on the certified lower bound.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の堅牢性は、ホスティングシステムの信頼性とセキュリティに不可欠である。 形式的検証は証明可能な堅牢性保証の提供に有効であることが示されている。 拡張性を向上させるため,線形制約によるDNNの非線形活性化関数の過度な近似が広く採用され,検証問題を効率よく解ける線形プログラミング問題に変換する。 過剰近似によって課される過大評価を減らすために、いわゆる最も厳密な近似を定義するために多くの努力がなされてきた。 本稿では,既存手法について検討し,タイト近似,すなわち活性化関数の近似領域を定義する主因子を同定する。 近似領域上で定義された厳密な近似は、実際の領域よりも厳密でないかもしれないが、既存のアプローチはすべて近似領域にのみ依存している。 この観測に基づいて、活性化関数の過小評価領域を利用して、過剰近似を厳密化するための新しい双対近似手法を提案する。 我々はモンテカルロシミュレーションと勾配降下に基づく2つの補完アルゴリズムを用いて,DualAppと呼ばれるツールにアプローチを実装した。 異なるアーキテクチャを持つDNNの包括的なベンチマークで評価する。 実験の結果、dualappは、認証されたロバスト性比で100%-1000%、認定下限で平均で10.64%(最大66.53%)改善し、最先端のアプローチを大きく上回っていることがわかった。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。 本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Bridging the Gap Between End-to-End and Two-Step Text Spotting [88.14552991115207]
  ブリッジングテキストスポッティングは、2段階のメソッドでエラーの蓄積と最適化性能の問題を解決する新しいアプローチである。 提案手法の有効性を広範囲な実験により実証する。
  論文  参考訳（メタデータ） (2024-04-06T13:14:04Z)
• Enabling Uncertainty Estimation in Iterative Neural Networks [49.56171792062104]
  本研究では,アンサンブルのような手法よりもはるかに低い計算コストで最先端の見積もりを提供する不確実性推定手法を開発する。 航空画像における道路検出と2次元および3次元形状の空力特性の推定という2つの応用領域に組み込むことで,その実用的価値を実証する。
  論文  参考訳（メタデータ） (2024-03-25T13:06:31Z)
• Distributionally Robust Off-Dynamics Reinforcement Learning: Provable Efficiency with Linear Function Approximation [8.234072589087095]
  我々は、オフダイナミックス強化学習(RL)を研究し、そこでポリシーはソースドメイン上でトレーニングされ、異なるターゲットドメインにデプロイされる。 オフダイナミックス RL の関数近似を用いたオンライン DRMDP に関する最初の研究を行った。 DR-LSVI-UCBは,関数近似を用いたオフダイナミックスのための高速オンラインDRMDPアルゴリズムである。
  論文  参考訳（メタデータ） (2024-02-23T16:01:44Z)
• Identity Curvature Laplace Approximation for Improved Out-of-Distribution Detection [4.779196219827508]
  不確実性推定は、ロバストなアウト・オブ・ディストリビューション検出が不可欠である安全クリティカルなアプリケーションにおいて重要である。 伝統的なベイズ法は有効ではあるが、しばしば高い計算要求によって妨げられる。 本稿では,従来の補間法に挑戦する新しい手法であるICLA(Identity Curvature Laplace Approximation)を紹介する。
  論文  参考訳（メタデータ） (2023-12-16T14:46:24Z)
• DualApp: Tight Over-Approximation for Neural Network Robustness Verification via Under-Approximation [17.924507519230424]
  本稿では,厳密なオーバー近似と2つの補足的アンダー近似アルゴリズムを定義するための新しいアンダー近似誘導手法を提案する。 過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。 我々は、DualAppと呼ばれるツールにアプローチを実装し、収集およびトレーニングされたニューラルネットワーク84のベンチマークでそれを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-11-21T05:09:34Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Incremental Verification of Fixed-Point Implementations of Neural Networks [0.19573380763700707]
  インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。 提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
  論文  参考訳（メタデータ） (2020-12-21T10:03:44Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。