論文の概要: Improving Robustness of Convolutional Neural Networks Using Element-Wise Activation Scaling

• arxiv url: http://arxiv.org/abs/2202.11898v1
• Date: Thu, 24 Feb 2022 04:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 16:23:38.304261
• Title: Improving Robustness of Convolutional Neural Networks Using Element-Wise Activation Scaling
• Title（参考訳）: 要素幅活性化スケーリングによる畳み込みニューラルネットワークのロバスト性向上
• Authors: Zhi-Yuan Zhang and Di Liu
• Abstract要約: 我々は,CNNの対角的ロバスト性を改善するため,EWAS(Element-Wise Activation Scaling)を提案する。 EWASはC&W攻撃に対して敵の精度を37.65%から82.35%に向上させる。
• 参考スコア（独自算出の注目度）: 13.952719098353482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works reveal that re-calibrating the intermediate activation of adversarial examples can improve the adversarial robustness of a CNN model. The state of the arts [Baiet al., 2021] and [Yanet al., 2021] explores this feature at the channel level, i.e. the activation of a channel is uniformly scaled by a factor. In this paper, we investigate the intermediate activation manipulation at a more fine-grained level. Instead of uniformly scaling the activation, we individually adjust each element within an activation and thus propose Element-Wise Activation Scaling, dubbed EWAS, to improve CNNs' adversarial robustness. Experimental results on ResNet-18 and WideResNet with CIFAR10 and SVHN show that EWAS significantly improves the robustness accuracy. Especially for ResNet18 on CIFAR10, EWAS increases the adversarial accuracy by 37.65% to 82.35% against C&W attack. EWAS is simple yet very effective in terms of improving robustness. The codes are anonymously available at https://anonymous.4open.science/r/EWAS-DD64.
• Abstract（参考訳）: 近年の研究では, 対角運動の中間活性化がCNNモデルの対向ロバスト性を向上させることが示されている。 state of the arts [baiet al., 2021]と[yanet al., 2021]はこの機能をチャネルレベルで探索する。 本稿では,より微細なレベルでの中間活性化操作について検討する。 アクティベーションを均一にスケーリングする代わりに、各要素をアクティベーション内で個別に調整し、EWASと呼ばれる要素ワイズアクティベーションスケーリングを提案し、CNNの対向ロバスト性を改善する。 CIFAR10とSVHNによるResNet-18とWideResNetの実験結果から、EWASはロバストネスの精度を大幅に向上することが示された。 特にCIFAR10上のResNet18では、EWASはC&W攻撃に対して敵の精度を37.65%から82.35%向上させる。 EWASは単純だが、堅牢性の改善の観点からは非常に効果的である。 コードはhttps://anonymous.4open.science/r/EWAS-DD64で公開されている。

関連論文リスト

• MeanSparse: Post-Training Robustness Enhancement Through Mean-Centered Feature Sparsification [32.70084821901212]
  MeanSparseは、敵の例に対する畳み込みと注意に基づくニューラルネットワークの堅牢性を改善する方法である。 実験の結果,MeanSparseは75.28%の新しいロバストネス記録を達成した。
  論文  参考訳（メタデータ） (2024-06-09T22:14:55Z)
• A Non-monotonic Smooth Activation Function [4.269446061678759]
  活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。 本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
  論文  参考訳（メタデータ） (2023-10-16T07:09:47Z)
• Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
  スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
  論文  参考訳（メタデータ） (2023-05-18T13:30:29Z)
• ANAct: Adaptive Normalization for Activation Functions [4.914574267850376]
  活性化関数がニューラルネットワークの前方および後方伝播にどのように影響するかを示す。 本稿では,階層間の一貫した勾配分散を維持するために,アクティベーション関数の正規化を行うANActを提案する。
  論文  参考訳（メタデータ） (2022-08-29T00:17:32Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Sparta: Spatially Attentive and Adversarially Robust Activation [17.021748192532964]
  我々は,ロバストcnnにおける基本relu活性化成分の役割について検討した。 ReLUアクティベーションの空間共有および入力非依存性により、CNNはホワイトボックスの敵対攻撃に対する堅牢性が低下する。 この問題を解決するため、ReLUを新しいSpartaアクティベーション関数に拡張します。
  論文  参考訳（メタデータ） (2021-05-18T04:36:46Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Improving Adversarial Robustness via Channel-wise Activation Suppressing [65.72430571867149]
  深層ニューラルネットワーク(DNN)を用いたセキュアで堅牢な学習において,その逆例とその活性化に関する研究が注目されている。 本稿では,チャネルワイドアクティベーションの観点から,敵対的事例の新たな特徴を2つ挙げる。 我々は,CASが本質的に敵の活性化を抑制するモデルを訓練でき,既存の防御手法にも容易に適用でき,より堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-11T03:44:16Z)
• CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection [186.34889055196925]
  本稿では,チャネルワイドアクティベーションの観点から,CNNの対角的ロバスト性について検討する。 我々は,敵対的学習(AT)がCNNのチャネルワイドなアクティベーションと自然的データとを一致させることで,CNNの信頼性を高めることを観察した。 我々は、新しいメカニズム、すなわち、アンダーラインChannel-wise Underline Importance-based UnderlineFeature UnderlineSelection (CIFS)を導入する。
  論文  参考訳（メタデータ） (2021-02-10T08:16:43Z)
• Extreme Value Preserving Networks [65.2037926048262]
  最近の証拠は、畳み込みニューラルネットワーク(CNN)がテクスチャに偏りがあることを示しており、CNNはテクスチャに逆らう摂動に対して損なわれない。 本稿では,SIFTの優れた特性を活用してCNNアーキテクチャを改良し,精度と堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2020-11-17T02:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。