論文の概要: Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective

• arxiv url: http://arxiv.org/abs/2010.03316v2
• Date: Thu, 7 Oct 2021 12:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 21:50:43.077923
• Title: Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
• Title（参考訳）: バッチ正規化は対向性を高め、対向性を減らす:非破壊的特徴の観点から
• Authors: Philipp Benz, Chaoning Zhang, In So Kweon
• Abstract要約: バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
• 参考スコア（独自算出の注目度）: 91.5105021619887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) has been widely used in modern deep neural networks (DNNs) due to improved convergence. BN is observed to increase the model accuracy while at the cost of adversarial robustness. There is an increasing interest in the ML community to understand the impact of BN on DNNs, especially related to the model robustness. This work attempts to understand the impact of BN on DNNs from a non-robust feature perspective. Straightforwardly, the improved accuracy can be attributed to the better utilization of useful features. It remains unclear whether BN mainly favors learning robust features (RFs) or non-robust features (NRFs). Our work presents empirical evidence that supports that BN shifts a model towards being more dependent on NRFs. To facilitate the analysis of such a feature robustness shift, we propose a framework for disentangling robust usefulness into robustness and usefulness. Extensive analysis under the proposed framework yields valuable insight on the DNN behavior regarding robustness, e.g. DNNs first mainly learn RFs and then NRFs. The insight that RFs transfer better than NRFs, further inspires simple techniques to strengthen transfer-based black-box attacks.
• Abstract（参考訳）: バッチ正規化(BN)は、収束性の向上により、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 bnがdnnに与える影響を理解するため、特にモデルロバスト性に関するmlコミュニティの関心が高まっている。 本研究は,非ロバスト機能の観点から,BNがDNNに与える影響を理解することを目的とする。 より正確には、改善された精度は有用な特徴のより良い利用に起因する。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。 我々の研究は、BNがモデルをNRFにもっと依存するようにシフトすることを支持する経験的証拠を示す。 このような特徴ロバスト性シフトの分析を容易にするために,ロバストな有用性をロバスト性と有用性に分離する枠組みを提案する。 提案手法に基づく広範な分析により,dnnはまずrfsを学習し,次にnrfsを学習するなど,堅牢性に関するdnnの行動に関する貴重な知見が得られる。 RFがNRFよりも優れているという洞察は、転送ベースのブラックボックス攻撃を強化するための単純なテクニックをさらに刺激する。

関連論文リスト

• BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning [2.563180814294141]
  機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。 バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:53:20Z)
• Understanding the Functional Roles of Modelling Components in Spiking Neural Networks [9.448298335007465]
  スパイキングニューラルネットワーク(SNN)は、生物学的忠実さで高い計算効率を達成することを約束している。 LIFに基づくSNNにおけるキーモデリングコンポーネント,リーク,リセット,再起動の機能的役割について検討する。 具体的には、メモリ保持とロバスト性のバランスにおいてリークが重要な役割を担い、リセット機構は未中断の時間的処理と計算効率に不可欠であり、リセットは、ロバストネス劣化を犠牲にして複雑なダイナミクスをモデル化する能力を強化する。
  論文  参考訳（メタデータ） (2024-03-25T12:13:20Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• On Fragile Features and Batch Normalization in Adversarial Training [83.25056150489446]
  対人訓練におけるバッチ正規化(BN)の役割について検討する。 BNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で使用される。 この結果から, 脆弱な特徴は, 適度な逆方向の頑健性を持つモデルを学ぶのに有効であるが, ランダムな特徴は得られないことがわかった。
  論文  参考訳（メタデータ） (2022-04-26T15:49:33Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness [12.330036598899218]
  ニューラルネットワーク(SNN)というランダム性手法が最近提案されている。 MFDV-SNNは既存の手法よりも大幅に改善され、モデルロバスト性を改善するための単純だが効果的な手法であることが示されている。
  論文  参考訳（メタデータ） (2022-01-01T08:46:06Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
  スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。 本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T17:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。