論文の概要: A Tale of Two Approximations: Tightening Over-Approximation for DNN
Robustness Verification via Under-Approximation
- arxiv url: http://arxiv.org/abs/2305.16998v1
- Date: Fri, 26 May 2023 14:58:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 14:05:32.190603
- Title: A Tale of Two Approximations: Tightening Over-Approximation for DNN
Robustness Verification via Under-Approximation
- Title(参考訳): 2つの近似の物語:下近似によるDNNロバスト性検証のための過剰近似の強化
- Authors: Zhiyi Xue, Si Liu, Zhaodi Zhang, Yiting Wu, Min Zhang
- Abstract要約: 本稿では、活性化関数の過小評価領域を利用して、過剰近似を厳密に定義する新しい双対近似手法を提案する。
以上の結果から,DualAppは,信頼性の高いロバスト性比が100%から1000%,認証下限が平均10.64%(最大66.53%)で,最先端のアプローチを著しく上回っていることがわかった。
- 参考スコア(独自算出の注目度): 17.924507519230424
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The robustness of deep neural networks (DNNs) is crucial to the hosting
system's reliability and security. Formal verification has been demonstrated to
be effective in providing provable robustness guarantees. To improve its
scalability, over-approximating the non-linear activation functions in DNNs by
linear constraints has been widely adopted, which transforms the verification
problem into an efficiently solvable linear programming problem. Many efforts
have been dedicated to defining the so-called tightest approximations to reduce
overestimation imposed by over-approximation. In this paper, we study existing
approaches and identify a dominant factor in defining tight approximation,
namely the approximation domain of the activation function. We find out that
tight approximations defined on approximation domains may not be as tight as
the ones on their actual domains, yet existing approaches all rely only on
approximation domains. Based on this observation, we propose a novel
dual-approximation approach to tighten over-approximations, leveraging an
activation function's underestimated domain to define tight approximation
bounds. We implement our approach with two complementary algorithms based
respectively on Monte Carlo simulation and gradient descent into a tool called
DualApp. We assess it on a comprehensive benchmark of DNNs with different
architectures. Our experimental results show that DualApp significantly
outperforms the state-of-the-art approaches with 100% - 1000% improvement on
the verified robustness ratio and 10.64% on average (up to 66.53%) on the
certified lower bound.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の堅牢性は、ホスティングシステムの信頼性とセキュリティに不可欠である。
形式的検証は証明可能な堅牢性保証の提供に有効であることが示されている。
拡張性を向上させるため,線形制約によるDNNの非線形活性化関数の過度な近似が広く採用され,検証問題を効率よく解ける線形プログラミング問題に変換する。
過剰近似によって課される過大評価を減らすために、いわゆる最も厳密な近似を定義するために多くの努力がなされてきた。
本稿では,既存手法について検討し,タイト近似,すなわち活性化関数の近似領域を定義する主因子を同定する。
近似領域上で定義された厳密な近似は、実際の領域よりも厳密でないかもしれないが、既存のアプローチはすべて近似領域にのみ依存している。
この観測に基づいて、活性化関数の過小評価領域を利用して、過剰近似を厳密化するための新しい双対近似手法を提案する。
我々はモンテカルロシミュレーションと勾配降下に基づく2つの補完アルゴリズムを用いて,DualAppと呼ばれるツールにアプローチを実装した。
異なるアーキテクチャを持つDNNの包括的なベンチマークで評価する。
実験の結果、dualappは、認証されたロバスト性比で100%-1000%、認定下限で平均で10.64%(最大66.53%)改善し、最先端のアプローチを大きく上回っていることがわかった。
関連論文リスト
- Distributionally Robust Off-Dynamics Reinforcement Learning: Provable
Efficiency with Linear Function Approximation [8.234072589087095]
我々は、オフダイナミックス強化学習(RL)を研究し、そこでポリシーはソースドメイン上でトレーニングされ、異なるターゲットドメインにデプロイされる。
オフダイナミックス RL の関数近似を用いたオンライン DRMDP に関する最初の研究を行った。
DR-LSVI-UCBは,関数近似を用いたオフダイナミックスのための高速オンラインDRMDPアルゴリズムである。
論文 参考訳(メタデータ) (2024-02-23T16:01:44Z) - Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳(メタデータ) (2024-02-16T16:35:18Z) - Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。
我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。
我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
論文 参考訳(メタデータ) (2023-05-24T07:11:26Z) - DualApp: Tight Over-Approximation for Neural Network Robustness
Verification via Under-Approximation [17.924507519230424]
本稿では,厳密なオーバー近似と2つの補足的アンダー近似アルゴリズムを定義するための新しいアンダー近似誘導手法を提案する。
過大評価領域は音質を保証し、過小評価領域はタイネスを誘導する。
我々は、DualAppと呼ばれるツールにアプローチを実装し、収集およびトレーニングされたニューラルネットワーク84のベンチマークでそれを広範囲に評価する。
論文 参考訳(メタデータ) (2022-11-21T05:09:34Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network
Activation Functions [4.03308187036005]
LinSyn は任意の任意の活性化関数に対して厳密な境界を達成する最初のアプローチである。
提案手法は,2~5倍の出力バウンダリと4倍以上の信頼性を達成できることを示す。
論文 参考訳(メタデータ) (2022-01-31T17:00:50Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - Incremental Verification of Fixed-Point Implementations of Neural
Networks [0.19573380763700707]
インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。
提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
論文 参考訳(メタデータ) (2020-12-21T10:03:44Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳(メタデータ) (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。