論文の概要: On Fragile Features and Batch Normalization in Adversarial Training

• arxiv url: http://arxiv.org/abs/2204.12393v1
• Date: Tue, 26 Apr 2022 15:49:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 12:12:23.750378
• Title: On Fragile Features and Batch Normalization in Adversarial Training
• Title（参考訳）: 対人訓練におけるき裂の特徴とバッチ正規化について
• Authors: Nils Philipp Walter, David Stutz, Bernt Schiele
• Abstract要約: 対人訓練におけるバッチ正規化(BN)の役割について検討する。 BNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で使用される。 この結果から, 脆弱な特徴は, 適度な逆方向の頑健性を持つモデルを学ぶのに有効であるが, ランダムな特徴は得られないことがわかった。
• 参考スコア（独自算出の注目度）: 83.25056150489446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning architecture utilize batch normalization (BN) to stabilize training and improve accuracy. It has been shown that the BN layers alone are surprisingly expressive. In the context of robustness against adversarial examples, however, BN is argued to increase vulnerability. That is, BN helps to learn fragile features. Nevertheless, BN is still used in adversarial training, which is the de-facto standard to learn robust features. In order to shed light on the role of BN in adversarial training, we investigate to what extent the expressiveness of BN can be used to robustify fragile features in comparison to random features. On CIFAR10, we find that adversarially fine-tuning just the BN layers can result in non-trivial adversarial robustness. Adversarially training only the BN layers from scratch, in contrast, is not able to convey meaningful adversarial robustness. Our results indicate that fragile features can be used to learn models with moderate adversarial robustness, while random features cannot
• Abstract（参考訳）: 最新のディープラーニングアーキテクチャでは、トレーニングの安定化と精度向上にバッチ正規化(bn)を採用している。 BN層のみが驚くほど表現力が高いことが示されている。 しかし、敵の例に対する堅牢性という文脈では、BNは脆弱性を増加させると主張している。 つまり、BNは脆弱な機能を学ぶのに役立ちます。 それでもBNは、堅牢な特徴を学ぶためのデファクト標準である敵の訓練で今も使われている。 逆行訓練におけるBNの役割を明らかにするために, BNの表現性が, ランダムな特徴と比較して脆弱な特徴の強固化にどの程度有効かを検討する。 CIFAR10では、BN層のみを逆向きに微調整することで、非自明な逆向き堅牢性が得られる。 逆行訓練は、スクラッチからBN層のみを訓練するが、対照的に、意味のある逆行性を伝えることはできない。 結果から,脆弱な特徴は適度な対向的頑健性を持つモデルを学ぶのに使えるが,ランダムな特徴はできないことが示唆された。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Robust Text Classification: Analyzing Prototype-Based Networks [12.247144383314177]
  PBN(Prototype-Based Networks)は、コンピュータビジョンタスクのノイズに対して堅牢であることが示されている。 本研究では, PBN がテキスト分類タスクに変換するロバスト性について, ターゲットとスタティックの両方の攻撃条件下で検討する。 PBNsの解釈性はPBNsの強靭性の性質を理解するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-11-11T19:34:06Z)
• F$^2$AT: Feature-Focusing Adversarial Training via Disentanglement of Natural and Perturbed Patterns [74.03108122774098]
  ディープニューラルネットワーク(DNN)は、よく設計された摂動によって構築された敵の例に対して脆弱である。 これは、自動運転車、監視セキュリティ、医療診断などの重要な応用について、悲惨な結果をもたらす可能性がある。 本稿では,自然パターンから中心となる特徴に焦点を合わせ,モデルに焦点をあてる機能集中型適応訓練(F$2$AT)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T04:31:42Z)
• Understanding the Failure of Batch Normalization for Transformers in NLP [16.476194435004732]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングを加速する技術である。 BNは、レイヤ正規化(LN)が支配する自然言語処理(NLP)において、その位置を守らない 正規化BN(RBN)はBNの性能を一貫して改善し、20設定中17設定でLNと同等または同等である。
  論文  参考訳（メタデータ） (2022-10-11T05:18:47Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective [91.5105021619887]
  バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
  論文  参考訳（メタデータ） (2020-10-07T10:24:33Z)
• How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
  フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。 本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-30T09:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。