Fugu-MT 論文翻訳(概要): Towards an Adversarially Robust Normalization Approach

論文の概要: Towards an Adversarially Robust Normalization Approach

arxiv url: http://arxiv.org/abs/2006.11007v1
Date: Fri, 19 Jun 2020 08:12:25 GMT
ステータス: 処理完了
システム内更新日: 2022-11-19 03:58:26.616016
Title: Towards an Adversarially Robust Normalization Approach
Title（参考訳）: 逆ロバスト正規化アプローチに向けて
Authors: Muhammad Awais, Fahad Shamshad, Sung-Ho Bae
Abstract要約: バッチ正規化(BatchNorm)は、ディープニューラルネットワークのパフォーマンス向上とトレーニングの高速化に有効である。それはまた、敵の脆弱性、すなわち敵の攻撃に対して堅牢でないネットワークの原因であることも示している。本稿では,BatchNormの逆の頑健なバージョンであるRobustNorm(Robust Normalization)を提案する。
参考スコア（独自算出の注目度）: 8.744644782067368
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Batch Normalization (BatchNorm) is effective for improving the performance and accelerating the training of deep neural networks. However, it has also shown to be a cause of adversarial vulnerability, i.e., networks without it are more robust to adversarial attacks. In this paper, we investigate how BatchNorm causes this vulnerability and proposed new normalization that is robust to adversarial attacks. We first observe that adversarial images tend to shift the distribution of BatchNorm input, and this shift makes train-time estimated population statistics inaccurate. We hypothesize that these inaccurate statistics make models with BatchNorm more vulnerable to adversarial attacks. We prove our hypothesis by replacing train-time estimated statistics with statistics calculated from the inference-time batch. We found that the adversarial vulnerability of BatchNorm disappears if we use these statistics. However, without estimated batch statistics, we can not use BatchNorm in the practice if large batches of input are not available. To mitigate this, we propose Robust Normalization (RobustNorm); an adversarially robust version of BatchNorm. We experimentally show that models trained with RobustNorm perform better in adversarial settings while retaining all the benefits of BatchNorm. Code is available at \url{https://github.com/awaisrauf/RobustNorm}.
Abstract（参考訳）: バッチ正規化(BatchNorm)は、ディープニューラルネットワークのパフォーマンス向上とトレーニングの高速化に有効である。しかし、それはまた、敵の脆弱性、すなわち敵の攻撃に対してより堅牢なネットワークの原因であることが示されている。本稿では,BatchNormがこの脆弱性の原因となり,敵攻撃に対して堅牢な新たな正規化を提案する。まず,逆行画像はバッチノルム入力の分布をシフトする傾向にあり,この変化は列車時推定人口統計を不正確なものにする。これらの不正確な統計により、バッチノルムのモデルは敵の攻撃に対してより脆弱になると仮定する。我々は,列車時間推定統計を推定時間バッチから算出した統計に置き換えることで仮説を立証する。これらの統計を用いて、BatchNormの敵対的脆弱性が消滅することを発見した。しかし,バッチ統計量の推定がなければ,大量の入力が得られない場合はバッチノルムは使用できない。これを軽減するために、BatchNormの逆の堅牢バージョンであるRobust Normalization(RobustNorm)を提案する。我々は,BatchNormでトレーニングしたモデルが,BatchNormのすべての利点を維持しつつ,対角的設定において優れた性能を発揮することを示す。コードは \url{https://github.com/awaisrauf/robustnorm} で入手できる。

関連論文リスト

Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで敵の例を作れますこの脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文参考訳（メタデータ） (2023-12-16T05:38:39Z)
An Empirical Analysis of the Shift and Scale Parameters in BatchNorm [3.198144010381572]
Batch Normalization(BatchNorm)は、ディープニューラルネットワークのトレーニングを改善するテクニックである。本稿では,正規化段階におけるBatchNormの成功に対する相対的貢献について検討する。
論文参考訳（メタデータ） (2023-03-22T12:41:12Z)
Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文参考訳（メタデータ） (2022-07-04T01:39:37Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文参考訳（メタデータ） (2021-10-06T08:45:03Z)
Rethinking "Batch" in BatchNorm [25.69755850518617]
BatchNormは、現代の畳み込みニューラルネットワークにおける重要なビルディングブロックです。本稿では,視覚認知タスクにおけるこのような問題を徹底的にレビューし,BatchNormの「バッチ」概念における異なる選択を再考することの鍵となることを示す。
論文参考訳（メタデータ） (2021-05-17T01:58:15Z)
Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization [120.99395850108422]
既存の敵防衛は、個々の摂動に対するモデル堅牢性を改善するのが一般的である。最近の手法では、複数の$ell_p$球における敵攻撃に対するモデルロバスト性を改善するが、各摂動型に対するそれらの性能は、まだ十分ではない。我々は,複数の$ell_pの有界摂動を守るために,摂動不変予測器を逆向きに訓練するGated Batch Normalization (GBN)を提案する。
論文参考訳（メタデータ） (2020-12-03T02:26:01Z)
Does Data Augmentation Benefit from Split BatchNorms [29.134017115737507]
State-of-the-art data augmentationはトレーニングイメージを強く歪ませ、トレーニング中に見られる例と推論の間に相違をもたらす。本稿では, 配信外, 強化画像に対する補助的BatchNormを提案する。この手法により,CIFAR-10,CIFAR-100,ImageNetなどの画像分類ベンチマークの性能が大幅に向上することがわかった。
論文参考訳（メタデータ） (2020-10-15T15:00:43Z)
A New Look at Ghost Normalization [12.331754048486554]
いくつかのデータセットでは、ゴースト正規化(GhostNorm)がBatchNormで改善されていることが示されている。 i) 単にBatchNormの拡張ではなく、GhostNorm特有の正規化のソースを発見し、(ii) 3種類のGhostNorm実装について説明する。
論文参考訳（メタデータ） (2020-07-16T18:23:52Z)
Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter Theory [40.55789598448379]
バッチ正規化(BatchNorm)は、トレーニング速度と安定性を改善するために、畳み込みニューラルネットワーク(CNN)で一般的に使用される。本稿では、従来の適応フィルタ領域の概念を用いて、BatchNormの動的および内部動作に関する洞察を提供する。
論文参考訳（メタデータ） (2020-02-25T05:25:40Z)
Cross-Iteration Batch Normalization [67.83430009388678]
本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
論文参考訳（メタデータ） (2020-02-13T18:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。