論文の概要: Probabilistic Robustness Analysis for DNNs based on PAC Learning
- arxiv url: http://arxiv.org/abs/2101.10102v1
- Date: Mon, 25 Jan 2021 14:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 19:22:55.326676
- Title: Probabilistic Robustness Analysis for DNNs based on PAC Learning
- Title（参考訳）: PAC学習に基づくDNNの確率ロバスト性解析
- Authors: Renjue Li and Pengfei Yang and Cheng-Chao Huang and Bai Xue and Lijun
Zhang
- Abstract要約: 我々は、DNNを入力から出力までの関数 $boldsymbolf$ とみなし、与えられた入力に対する局所ロバスト性を考慮する。
目標ラベル $ell$ と攻撃ラベル $i$ に関してスコア差関数 $f_i-f_ell$ を学習する。
我々のフレームワークは、6.5ドルのニューロンを持つResNet152のような非常に大きなニューラルネットワークを処理でき、しばしば敵の例を生成する。
- 参考スコア（独自算出の注目度）: 14.558877524991752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a black box based approach for analysing deep neural
networks (DNNs). We view a DNN as a function $\boldsymbol{f}$ from inputs to
outputs, and consider the local robustness property for a given input. Based on
scenario optimization technique in robust control design, we learn the score
difference function $f_i-f_\ell$ with respect to the target label $\ell$ and
attacking label $i$. We use a linear template over the input pixels, and learn
the corresponding coefficients of the score difference function, based on a
reduction to a linear programming (LP) problems. To make it scalable, we
propose optimizations including components based learning and focused learning.
The learned function offers a probably approximately correct (PAC) guarantee
for the robustness property. Since the score difference function is an
approximation of the local behaviour of the DNN, it can be used to generate
potential adversarial examples, and the original network can be used to check
whether they are spurious or not. Finally, we focus on the input pixels with
large absolute coefficients, and use them to explain the attacking scenario. We
have implemented our approach in a prototypical tool DeepPAC. Our experimental
results show that our framework can handle very large neural networks like
ResNet152 with $6.5$M neurons, and often generates adversarial examples which
are very close to the decision boundary.
- Abstract（参考訳）: 本稿では,深層ニューラルネットワーク(DNN)解析のためのブラックボックスベースのアプローチを提案する。
DNN を入力から出力への関数 $\boldsymbol{f}$ と見なし、与えられた入力に対してローカルロバスト性プロパティを考慮する。
ロバストな制御設計におけるシナリオ最適化手法に基づき、目標ラベル $\ell$ と攻撃ラベル $i$ に関してスコア差分関数 $f_i-f_\ell$ を学びます。
入力画素上の線形テンプレートを使用し、線形プログラミング(LP)問題への還元に基づいてスコア差分関数の対応する係数を学習する。
スケーラブルにするために,コンポーネントベースの学習と集中学習を含む最適化を提案する。
学習された関数は、堅牢性特性のほぼ正しい(PAC)保証を提供します。
スコア差分関数はDNNの局所的挙動の近似であるので、潜在的な敵の例を生成するために使用することができ、元のネットワークは、それらが素早いかどうかを確認するために使用することができる。
最後に,絶対係数が大きい入力画素に着目し,それらを用いて攻撃シナリオを説明する。
提案手法をプロトタイプツールであるDeepPACに実装した。
実験の結果, resnet152のような非常に大きなニューラルネットワークを6.5$mのニューロンで処理でき, 決定境界に非常に近い敵の例をしばしば生成できることがわかった。
関連論文リスト
- Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Supervised Contrastive Prototype Learning: Augmentation Free Robust
Neural Network [17.10753224600936]
ディープニューラルネットワーク(DNN)の入力空間における変換は、特徴空間の意図しない変化をもたらす。
我々は、SCPL (textbfd Contrastive Prototype Learning$) というトレーニングフレームワークを提案する。
同じクラスと反対クラスのプロトタイプでNペアの対照的な損失を使用し、分類ヘッドを$textbfPrototype Classification Head(PCH)で置き換える。
私たちのアプローチは、$textitsample efficient$、$textitsample mining$、既存のどのDNNでも変更せずに実装できます。
論文 参考訳（メタデータ） (2022-11-26T01:17:15Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。
本研究は,これまでに確立された高速訓練法について理論的考察を行った。
論文 参考訳（メタデータ） (2021-10-09T18:16:23Z) - Approximating smooth functions by deep neural networks with sigmoid
activation function [0.0]
我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。
固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
論文 参考訳（メタデータ） (2020-10-08T07:29:31Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳（メタデータ） (2020-03-30T12:03:09Z) - Determination of the Semion Code Threshold using Neural Decoders [0.0]
セミオン符号の誤差しきい値を計算し、同じゲージ対称性群$mathbbZ$の北エフトーリック符号を伴って計算する。
我々は、多層パーセプトロンと畳み込みニューラルネットワークという、ニューラルネットワークデコーダのほぼ最適性能を生かしている。
論文 参考訳（メタデータ） (2020-02-20T10:56:47Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。