論文の概要: Skip Connections Matter: On the Transferability of Adversarial Examples
Generated with ResNets
- arxiv url: http://arxiv.org/abs/2002.05990v1
- Date: Fri, 14 Feb 2020 12:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 03:47:22.066197
- Title: Skip Connections Matter: On the Transferability of Adversarial Examples
Generated with ResNets
- Title（参考訳）: スキップ接続が重要である: ResNetsで生成された逆例の転送可能性について
- Authors: Dongxian Wu, Yisen Wang, Shu-Tao Xia, James Bailey, Xingjun Ma
- Abstract要約: スキップ接続は、現在最先端のディープニューラルネットワーク(DNN)の重要な構成要素である
スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。
我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)を含む最先端DNNに対する包括的な転送攻撃を行う。
- 参考スコア（独自算出の注目度）: 83.12737997548645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skip connections are an essential component of current state-of-the-art deep
neural networks (DNNs) such as ResNet, WideResNet, DenseNet, and ResNeXt.
Despite their huge success in building deeper and more powerful DNNs, we
identify a surprising security weakness of skip connections in this paper. Use
of skip connections allows easier generation of highly transferable adversarial
examples. Specifically, in ResNet-like (with skip connections) neural networks,
gradients can backpropagate through either skip connections or residual
modules. We find that using more gradients from the skip connections rather
than the residual modules according to a decay factor, allows one to craft
adversarial examples with high transferability. Our method is termed Skip
Gradient Method(SGM). We conduct comprehensive transfer attacks against
state-of-the-art DNNs including ResNets, DenseNets, Inceptions,
Inception-ResNet, Squeeze-and-Excitation Network (SENet) and robustly trained
DNNs. We show that employing SGM on the gradient flow can greatly improve the
transferability of crafted attacks in almost all cases. Furthermore, SGM can be
easily combined with existing black-box attack techniques, and obtain high
improvements over state-of-the-art transferability methods. Our findings not
only motivate new research into the architectural vulnerability of DNNs, but
also open up further challenges for the design of secure DNN architectures.
- Abstract（参考訳）: スキップ接続は、ResNet、WideResNet、DenseNet、ResNeXtといった現在の最先端のディープニューラルネットワーク(DNN)の重要なコンポーネントである。
より深く、より強力なdnnの構築に成功したにもかかわらず、我々はスキップ接続の驚くべきセキュリティの弱点を見出します。
スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。
特に、resnetのような(スキップ接続を伴う)ニューラルネットワークでは、勾配はスキップ接続または残余モジュールを介してバックプロパゲートすることができる。
減衰係数に従って余剰加群よりもスキップ接続からより多くの勾配を用いることで、高い移動性を持つ逆例を作成できることがわかった。
本手法はSkip Gradient Method(SGM)と呼ばれる。
我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)、堅牢に訓練されたDNNを含む最先端のDNNに対して包括的な転送攻撃を行う。
ほぼすべてのケースにおいて,SGMを勾配流に適用することにより,クラフト攻撃の伝達性を大幅に向上させることができることを示す。
さらに、SGMは既存のブラックボックス攻撃技術と容易に組み合わせられ、最先端のトランスファービリティー法よりも高い改善が得られる。
我々の発見は、DNNのアーキテクチャ脆弱性に関する新たな研究を動機づけるだけでなく、セキュアなDNNアーキテクチャの設計に関するさらなる課題も開きます。
関連論文リスト
- A Hard-Label Cryptanalytic Extraction of Non-Fully Connected Deep Neural Networks using Side-Channel Attacks [0.7499722271664147]
ディープニューラルネットワーク(DNN)の知的財産権の保護は依然として問題であり、新たな研究分野である。
最近の研究は、ハードラベル設定における暗号解析手法を用いて、完全に接続されたDNNを抽出することに成功している。
組込みDNNの忠実度の高いモデル抽出を目的とした,新たなエンドツーエンドアタックフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-15T13:19:59Z) - On the Adversarial Transferability of Generalized "Skip Connections" [83.71752155227888]
スキップ接続は、より深く、より強力な現代のディープモデルにとって重要な要素である。
バックプロパゲーションにおいて、バックプロパゲーション中に、スキップ接続からより多くの勾配を用いることで、高い転送性を持つ逆例を作成できることが分かる。
本稿では,ResNet,Transformer,Inceptions,Neural Architecture Search,Large Language Modelsなど,さまざまなモデルに対する包括的なトランスファー攻撃を行う。
論文 参考訳（メタデータ） (2024-10-11T16:17:47Z) - Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization [57.87950229651958]
量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。
従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。
マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
論文 参考訳（メタデータ） (2023-05-10T03:46:53Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳（メタデータ） (2021-05-11T10:05:53Z) - Deep Residual Learning in Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は勾配に基づくアプローチの最適化の難しさを示す。
ディープラーニングにおけるResNetの大きな成功を考えると、ディープラーニングで深層SNNをトレーニングするのは自然なことでしょう。
本研究では,深部SNNにおける残差学習を実現するために,スパイク要素ワイド(SEW)ResNetを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:22:33Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳（メタデータ） (2020-08-31T00:44:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。