論文の概要: Skip Connections Matter: On the Transferability of Adversarial Examples
Generated with ResNets
- arxiv url: http://arxiv.org/abs/2002.05990v1
- Date: Fri, 14 Feb 2020 12:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 03:47:22.066197
- Title: Skip Connections Matter: On the Transferability of Adversarial Examples
Generated with ResNets
- Title(参考訳): スキップ接続が重要である: ResNetsで生成された逆例の転送可能性について
- Authors: Dongxian Wu, Yisen Wang, Shu-Tao Xia, James Bailey, Xingjun Ma
- Abstract要約: スキップ接続は、現在最先端のディープニューラルネットワーク(DNN)の重要な構成要素である
スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。
我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)を含む最先端DNNに対する包括的な転送攻撃を行う。
- 参考スコア(独自算出の注目度): 83.12737997548645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skip connections are an essential component of current state-of-the-art deep
neural networks (DNNs) such as ResNet, WideResNet, DenseNet, and ResNeXt.
Despite their huge success in building deeper and more powerful DNNs, we
identify a surprising security weakness of skip connections in this paper. Use
of skip connections allows easier generation of highly transferable adversarial
examples. Specifically, in ResNet-like (with skip connections) neural networks,
gradients can backpropagate through either skip connections or residual
modules. We find that using more gradients from the skip connections rather
than the residual modules according to a decay factor, allows one to craft
adversarial examples with high transferability. Our method is termed Skip
Gradient Method(SGM). We conduct comprehensive transfer attacks against
state-of-the-art DNNs including ResNets, DenseNets, Inceptions,
Inception-ResNet, Squeeze-and-Excitation Network (SENet) and robustly trained
DNNs. We show that employing SGM on the gradient flow can greatly improve the
transferability of crafted attacks in almost all cases. Furthermore, SGM can be
easily combined with existing black-box attack techniques, and obtain high
improvements over state-of-the-art transferability methods. Our findings not
only motivate new research into the architectural vulnerability of DNNs, but
also open up further challenges for the design of secure DNN architectures.
- Abstract(参考訳): スキップ接続は、ResNet、WideResNet、DenseNet、ResNeXtといった現在の最先端のディープニューラルネットワーク(DNN)の重要なコンポーネントである。
より深く、より強力なdnnの構築に成功したにもかかわらず、我々はスキップ接続の驚くべきセキュリティの弱点を見出します。
スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。
特に、resnetのような(スキップ接続を伴う)ニューラルネットワークでは、勾配はスキップ接続または残余モジュールを介してバックプロパゲートすることができる。
減衰係数に従って余剰加群よりもスキップ接続からより多くの勾配を用いることで、高い移動性を持つ逆例を作成できることがわかった。
本手法はSkip Gradient Method(SGM)と呼ばれる。
我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)、堅牢に訓練されたDNNを含む最先端のDNNに対して包括的な転送攻撃を行う。
ほぼすべてのケースにおいて,SGMを勾配流に適用することにより,クラフト攻撃の伝達性を大幅に向上させることができることを示す。
さらに、SGMは既存のブラックボックス攻撃技術と容易に組み合わせられ、最先端のトランスファービリティー法よりも高い改善が得られる。
我々の発見は、DNNのアーキテクチャ脆弱性に関する新たな研究を動機づけるだけでなく、セキュアなDNNアーキテクチャの設計に関するさらなる課題も開きます。
関連論文リスト
- Rethinking Residual Connection in Training Large-Scale Spiking Neural
Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。
非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文 参考訳(メタデータ) (2023-11-09T06:48:29Z) - Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path
Decomposition Perspective for Preventing the Over-smoothing [50.242926616772515]
近年の研究では、残りの結合を持つGNNが変性をわずかに遅らせていることが示されている。
本稿では,新しい経路分解の観点からの残差接続を有するGNNの前方・後方挙動について検討する。
コールドスタート適応残差接続(DRIVE)とフィードフォワードモジュールを備えたUniversal Deep GNNsフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-30T14:19:45Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T17:49:08Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳(メタデータ) (2021-10-18T06:14:28Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Deep Residual Learning in Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は勾配に基づくアプローチの最適化の難しさを示す。
ディープラーニングにおけるResNetの大きな成功を考えると、ディープラーニングで深層SNNをトレーニングするのは自然なことでしょう。
本研究では,深部SNNにおける残差学習を実現するために,スパイク要素ワイド(SEW)ResNetを提案する。
論文 参考訳(メタデータ) (2021-02-08T12:22:33Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳(メタデータ) (2020-10-23T22:27:13Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳(メタデータ) (2020-08-31T00:44:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。