論文の概要: Understanding Adversarial Robustness from Feature Maps of Convolutional Layers

• arxiv url: http://arxiv.org/abs/2202.12435v1
• Date: Fri, 25 Feb 2022 00:14:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 14:36:12.769072
• Title: Understanding Adversarial Robustness from Feature Maps of Convolutional Layers
• Title（参考訳）: 畳み込み層の特徴図からの対向ロバスト性理解
• Authors: Cong Xu and Min Yang
• Abstract要約: 畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。 既存のニューラルネットワークの堅牢性を改善するための2つの実現可能な方法を提案する。
• 参考スコア（独自算出の注目度）: 21.98752448945773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adversarial robustness of a neural network mainly relies on two factors, one is the feature representation capacity of the network, and the other is its resistance ability to perturbations. In this paper, we study the anti-perturbation ability of the network from the feature maps of convolutional layers. Our theoretical analysis discovers that larger convolutional features before average pooling can contribute to better resistance to perturbations, but the conclusion is not true for max pooling. Based on the theoretical findings, we present two feasible ways to improve the robustness of existing neural networks. The proposed approaches are very simple and only require upsampling the inputs or modifying the stride configuration of convolution operators. We test our approaches on several benchmark neural network architectures, including AlexNet, VGG16, RestNet18 and PreActResNet18, and achieve non-trivial improvements on both natural accuracy and robustness under various attacks. Our study brings new insights into the design of robust neural networks. The code is available at \url{https://github.com/MTandHJ/rcm}.
• Abstract（参考訳）: ニューラルネットワークの敵対的堅牢性は、主に2つの要因に依存している。1つは、ネットワークの特徴表現能力であり、もう1つは摂動に対する抵抗能力である。 本稿では,畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。 理論解析により, 平均プールよりも大きな畳み込み特性が摂動抵抗の向上に寄与することが明らかとなったが, 最大プールには当てはまらない。 理論的な知見に基づき,既存のニューラルネットワークの頑健性を改善するための2つの実現可能な方法を提案する。 提案手法は非常に単純で、入力のアップサンプリングや畳み込み演算子のストライド構成の変更のみを必要とする。 alexnet、vgg16、restnet18、preactresnet18など、いくつかのベンチマークニューラルネットワークアーキテクチャでアプローチをテストし、さまざまな攻撃において、自然な正確性と堅牢性の両方において、非自明な改善を達成しています。 本研究はロバストニューラルネットワークの設計に新たな洞察をもたらす。 コードは \url{https://github.com/mtandhj/rcm} で入手できる。

関連論文リスト

• Wavelets Beat Monkeys at Adversarial Robustness [0.8702432681310401]
  物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
  論文  参考訳（メタデータ） (2023-04-19T03:41:30Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• On the Adversarial Robustness of Quantized Neural Networks [2.0625936401496237]
  モデル圧縮技術が敵対攻撃に対するAIアルゴリズムの堅牢性にどのように影響するかは不明である。 本稿では,最も一般的な圧縮手法である量子化がニューラルネットワークの対角的堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-05-01T11:46:35Z)
• Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search [35.362883630015354]
  モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。 しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。 私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
  論文  参考訳（メタデータ） (2021-02-28T00:54:09Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。