Fugu-MT 論文翻訳(概要): Towards Certifying $\ell_\infty$ Robustness using Neural Networks with $\ell

論文の概要: Towards Certifying $\ell_\infty$ Robustness using Neural Networks with $\ell_\infty$-dist Neurons

arxiv url: http://arxiv.org/abs/2102.05363v1
Date: Wed, 10 Feb 2021 10:03:58 GMT
ステータス: 処理完了
システム内更新日: 2021-02-11 14:53:21.494899
Title: Towards Certifying $\ell_\infty$ Robustness using Neural Networks with $\ell_\infty$-dist Neurons
Title（参考訳）: $\ell_\infty$-distneurnsを用いたニューラルネットワークによるロバストネスの証明に向けて
Authors: Bohang Zhang, Tianle Cai, Zhou Lu, Di He, Liwei Wang
Abstract要約: 我々は本質的に$ell_infty$摂動に抵抗する原理的ニューラルネットワークを開発した。一般的に使用されているデータセット上で、最先端のパフォーマンスを一貫して達成します。
参考スコア（独自算出の注目度）: 27.815886593870076
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is well-known that standard neural networks, even with a high classification accuracy, are vulnerable to small $\ell_\infty$-norm bounded adversarial perturbations. Although many attempts have been made, most previous works either can only provide empirical verification of the defense to a particular attack method, or can only develop a certified guarantee of the model robustness in limited scenarios. In this paper, we seek for a new approach to develop a theoretically principled neural network that inherently resists $\ell_\infty$ perturbations. In particular, we design a novel neuron that uses $\ell_\infty$-distance as its basic operation (which we call $\ell_\infty$-dist neuron), and show that any neural network constructed with $\ell_\infty$-dist neurons (called $\ell_{\infty}$-dist net) is naturally a 1-Lipschitz function with respect to $\ell_\infty$-norm. This directly provides a rigorous guarantee of the certified robustness based on the margin of prediction outputs. We also prove that such networks have enough expressive power to approximate any 1-Lipschitz function with robust generalization guarantee. Our experimental results show that the proposed network is promising. Using $\ell_{\infty}$-dist nets as the basic building blocks, we consistently achieve state-of-the-art performance on commonly used datasets: 93.09% certified accuracy on MNIST ($\epsilon=0.3$), 79.23% on Fashion MNIST ($\epsilon=0.1$) and 35.10% on CIFAR-10 ($\epsilon=8/255$).
Abstract（参考訳）: 標準的なニューラルネットワークは、高い分類精度でも、小さな$\ell_\infty$-norm境界逆摂動に弱いことはよく知られている。多くの試みがなされているが、ほとんどの以前の作品では特定の攻撃方法に対する防御の実証的検証しかできないか、限定されたシナリオでモデルの堅牢性を保証することしかできない。本稿では,$\ell_\infty$摂動に本質的に抵抗する理論原理のニューラルネットワークを開発するための新しいアプローチを提案する。特に、$\ell_\infty$-distance を基本演算($\ell_\infty$-dist neuron と呼ぶ)として用いる新しいニューロンを設計し、$\ell_\infty$-dist neurons ($\ell_{\infty}$-dist net と呼ばれる)で構築されたニューラルネットワークが、$\ell_\infty$-norm に関して自然に 1-Lipschitz 関数であることを示します。これにより、予測出力のマージンに基づいて認証された堅牢性が直接保証されます。また、そのようなネットワークは、堅牢な一般化保証を持つ任意の1-Lipschitz関数を近似する十分な表現力を有することを証明します。実験の結果,提案するネットワークは有望であることがわかった。基本的な構成要素として$\ell_{\infty}$-distネットを使用し、一般的に使用されるデータセットで常に最先端のパフォーマンスを実現している: mnist (\epsilon=0.3$) 93.09%、ファッションmnist (\epsilon=0.1$) 79.23%、cifar-10 (\epsilon=8/255$) で35.10%である。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文参考訳（メタデータ） (2024-05-26T17:08:04Z)
Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。 $i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
論文参考訳（メタデータ） (2023-02-12T15:07:27Z)
The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文参考訳（メタデータ） (2022-12-23T04:48:04Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Coin Flipping Neural Networks [8.009932864430901]
ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。我々は、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。
論文参考訳（メタデータ） (2022-06-18T11:19:44Z)
Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文参考訳（メタデータ） (2021-10-25T07:12:53Z)
Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文参考訳（メタデータ） (2021-07-01T06:01:12Z)
Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文参考訳（メタデータ） (2020-11-15T21:34:44Z)
Shuffling Recurrent Neural Networks [97.72614340294547]
隠れ状態 $h_t$ を以前の隠れ状態 $h_t-1$ のベクトル要素を置換することにより、隠れ状態 $h_t$ が得られる新しいリカレントニューラルネットワークモデルを提案する。私たちのモデルでは、予測は第2の学習関数によって与えられ、隠された状態 $s(h_t)$ に適用されます。
論文参考訳（メタデータ） (2020-07-14T19:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。