論文の概要: Batch Normalization Increases Adversarial Vulnerability and Decreases
Adversarial Transferability: A Non-Robust Feature Perspective
- arxiv url: http://arxiv.org/abs/2010.03316v2
- Date: Thu, 7 Oct 2021 12:52:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 21:50:43.077923
- Title: Batch Normalization Increases Adversarial Vulnerability and Decreases
Adversarial Transferability: A Non-Robust Feature Perspective
- Title(参考訳): バッチ正規化は対向性を高め、対向性を減らす:非破壊的特徴の観点から
- Authors: Philipp Benz, Chaoning Zhang, In So Kweon
- Abstract要約: バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。
BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。
BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
- 参考スコア(独自算出の注目度): 91.5105021619887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Batch normalization (BN) has been widely used in modern deep neural networks
(DNNs) due to improved convergence. BN is observed to increase the model
accuracy while at the cost of adversarial robustness. There is an increasing
interest in the ML community to understand the impact of BN on DNNs, especially
related to the model robustness. This work attempts to understand the impact of
BN on DNNs from a non-robust feature perspective. Straightforwardly, the
improved accuracy can be attributed to the better utilization of useful
features. It remains unclear whether BN mainly favors learning robust features
(RFs) or non-robust features (NRFs). Our work presents empirical evidence that
supports that BN shifts a model towards being more dependent on NRFs. To
facilitate the analysis of such a feature robustness shift, we propose a
framework for disentangling robust usefulness into robustness and usefulness.
Extensive analysis under the proposed framework yields valuable insight on the
DNN behavior regarding robustness, e.g. DNNs first mainly learn RFs and then
NRFs. The insight that RFs transfer better than NRFs, further inspires simple
techniques to strengthen transfer-based black-box attacks.
- Abstract(参考訳): バッチ正規化(BN)は、収束性の向上により、現代のディープニューラルネットワーク(DNN)で広く使われている。
BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。
bnがdnnに与える影響を理解するため、特にモデルロバスト性に関するmlコミュニティの関心が高まっている。
本研究は,非ロバスト機能の観点から,BNがDNNに与える影響を理解することを目的とする。
より正確には、改善された精度は有用な特徴のより良い利用に起因する。
BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
我々の研究は、BNがモデルをNRFにもっと依存するようにシフトすることを支持する経験的証拠を示す。
このような特徴ロバスト性シフトの分析を容易にするために,ロバストな有用性をロバスト性と有用性に分離する枠組みを提案する。
提案手法に基づく広範な分析により,dnnはまずrfsを学習し,次にnrfsを学習するなど,堅牢性に関するdnnの行動に関する貴重な知見が得られる。
RFがNRFよりも優れているという洞察は、転送ベースのブラックボックス攻撃を強化するための単純なテクニックをさらに刺激する。
関連論文リスト
- Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Posterior Regularized Bayesian Neural Network Incorporating Soft and
Hard Knowledge Constraints [12.050265348673078]
本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。
航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
論文 参考訳(メタデータ) (2022-10-16T18:58:50Z) - CARE: Certifiably Robust Learning with Reasoning via Variational
Inference [26.210129662748862]
推論パイプライン(CARE)を用いた頑健な学習を提案する。
CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。
さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
論文 参考訳(メタデータ) (2022-09-12T07:15:52Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - On Fragile Features and Batch Normalization in Adversarial Training [83.25056150489446]
対人訓練におけるバッチ正規化(BN)の役割について検討する。
BNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で使用される。
この結果から, 脆弱な特徴は, 適度な逆方向の頑健性を持つモデルを学ぶのに有効であるが, ランダムな特徴は得られないことがわかった。
論文 参考訳(メタデータ) (2022-04-26T15:49:33Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Rethinking Feature Uncertainty in Stochastic Neural Networks for
Adversarial Robustness [12.330036598899218]
ニューラルネットワーク(SNN)というランダム性手法が最近提案されている。
MFDV-SNNは既存の手法よりも大幅に改善され、モデルロバスト性を改善するための単純だが効果的な手法であることが示されている。
論文 参考訳(メタデータ) (2022-01-01T08:46:06Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳(メタデータ) (2020-08-31T00:44:59Z) - Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects
of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。
本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
論文 参考訳(メタデータ) (2020-03-23T17:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。